__init__的博客

安装hive及配置mysql为元仓

hadoop_mapreduce06-ReduceJoin案例

java_04-数组一维数组package main.java.chapter3dir;import java.lang.reflect.Array;/** * 一、数组的概述 * 1.数组的理解，数组（Array），是多个相同类型数据按一定顺序排列的集合，并使用一个名字命名，并通过编号的方式对这些数据进行统一管理。 * <p> * 2.数组相关概念 * >数组名 * >元素 * >角标、下标、索引 * >数组的长度：元素的个数 * <

java_02-附1-Scanner类从键盘获取package chapter2dir;/** *如何实现从键盘获取不同类型的变量：Scanner类 * * 具体实现步骤： * 1、导包：import java.util.Scanner; * 2、Scanner实例化：Scanner scan = new Scanner(System.in); * 3、调用Scanner类的方法。scan.nextXxx() * 4、报错：如果错误输入类型 Exception in thread "ma

java_02-附2-Math类获取一个随机数random脚本package main.java.chapter2dir;/** * 需求：如何获取一个随机数：[10-99] * 解决公式：获取[a,b]的随机数 (int)(Math.random()*(b-a+1)+a) * */public class q2Demo2Random { public static void main(String[] args) { double ran = Math.r

java_02-流程控制结构类型顺序结构分支结构if-else结构switch-case结构循环结构for循环 （遍历数组之类）无限循环 for(;😉{}while循环 （条件比较复杂的情况）无限循环 while(true){}do-while循环完整笔记package main.java.chapter2dir;import com.sun.xml.internal.xsom.impl.scd.Step;/** * ## 结构类型 * 顺序结构

java_01_数据类型-运算符package chapter2dir;/**上 数据类型+运算符java基本数据类型： 数值型： 整数型：byte、short、int、long 浮点型：float、double 字符型：char 布尔型：boolean引用数据类型： 类：class 接口：interface 数组：arrray [] 运算符： 1) 算数运算符 2）赋值运算符 前++(

java_05-面向对象01（一）面向对象三条主线两个核心概念package main.java.chapter5dir;/** * 面向对象的分析（OOA，Object Oriented Analysis）， * 面向对象的设计（OOD，Object Oriented Design）、 * 面向对象的编程实现（OOP，Object Oriented Programming * * 一、Java面向对象学习的三条主线：（第4-6章） * 1.Java类及类的成员：属性、方法、构造器；代码

自定义OutputFormat类可以输出到本地、mysql、hdfs等

Java基本语法项目一-FamilyAccount

MySQL_0n-常见函数-211116常用命令临时记一下查看字符集：show variables like ‘%char%’;1. 数值函数1.1基本函数含义MySQL函数HIVE函数MaxCompute函数返回x的绝对值ABS(x)返回x的符号。正数返回1，负数返回0，0返回0SIGN(x)返回圆周率PI()返回大于或等于某个值的最小整数。向上取整CEIL(x),CEILING(x) 举例ceil(1.23)=2返回小于或

hadoop_mapreduce03-InputFormat数据输入-包括切片与MapTask并行度Combine小文件等注：仅做笔记，摘记，详细见源码和word。1. 切片与MapTask并行度决定机制数据块：Block是HDFS物理上把数据分成一块一块。 本地32M，hadoop1.x 64M，hadoop2.x 128M数据切片：逻辑上对数据进行切片，建议和块大小设置一样，否则会有产生很多IO。2. Job提交流程源码和切片源码解读waitForCompletion()submit();

hadoop_mapreduce02-序列化与反序列化-计算上下行流量注：仅做笔记。（一）需求统计每一个手机号耗费的总上行流量、下行流量、总流量。phone_data.txt1 13736230513 192.196.100.1 www.at.com 2481 24681 2002 13846544121 192.196.100.2 264 0 2003 13956435636 192.196.100.3 132 1512 2004 13966251146 192.168.100

hadoop_mapreduce01_wordcount（一）需求统计单词个数。1）输入数据：/Users/art/Documents/demo_datas/wordcount_inputs/words.txthive emr hivehive d2 emr odpshelloword hive2）输出数据：/Users/art/Documents/demo_datas/wordcount_inputs（要求运行前文件夹不存在）期望输出结果：d2 1emr 2helloword

hadoop_hdfs07-hdfsHA集群配置&ZK集群配置&yarnHA配置注:笔记.(一) 集群规划Hadoop102Hadoop03Hadoop04ZKZKZKJournaleNodeJournaleNodeJournaleNodeNameNodeNameNodeDataNodeDataNodeDataNodeResourceManagerResourceManagerNodeManagerNodeMan

hadoop_hdfs06-hdfs2.x新特性注:笔记使用.(一) 集群间的数据拷贝scp实现两个主机间的远程拷贝(在配置了ssh的情况下)scp -r root@hadoop102:/user/user02/inputs/xiaoming.txt root@hadoop103:/user/user02/inputsdistcp命令实现两个hadoop集群之间的递归数据复制hadoop distcp hdfs://hadoop102:9000/user/user02/inputs/x

hadoop_集群搭建03-完全分布式-集群配置及启动注:仅作笔记使用.前提：hadoop_集群搭建02-安装jdk安装hadoop未完 后续补（一）编写集群分发脚本xsync实现：循环复制文件到所有节点相同目录下1）在user02家目录下新建bin/目录，再touch xsync[user02@hadooop102 ~]$ mkdir bin[user02@hadooop102 ~]$ cd bin[user02@hadooop102 bin]$ touch xsync[user02@

hadoop_hdfs03-java-IO流操作注:仅作笔记.api操作是hdfs系统封装好的，如果想自己实现api操作，可以使用IO流的方式实现数据的上传和下载.hdfs文件上传hdfs文件下载指定下载起始位置package com.onhadoop.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apach

hadoop_hdfs02-java-api注: 仅作笔记.pom<dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEASE</version> </depe

Centos68_环境-CLIBC_2.14 not fount原文博客:https://blog.51cto.com/stuart/1840205https://www.cnblogs.com/playboysnow/p/7327270.html报错: /lib64/libc.so.6:version`GLIBC_2.14`not found一、安装glibc-2.14[root@hadoop102 ~]# wget http://ftp.gnu.org/gnu/glibc/glibc-2.