echo的博客

原创 sqoop安装及初体验（hive配置mysql服务器）

先要安装mysql服务centos6.5可以直接用yum下载具体可参考https://mp.csdn.net/postedit/80139841这篇文章----------------------------------------------------------------------------------------------------------------------------...

转载 CentOS6.5安装与配置Mysql数据库（转）

参考这个链接点击打开链接https://blog.csdn.net/bingjianit/article/details/54384299

原创 hive sql 基本练习

表的结构create table student(Sno int,Sname string,Sex string,Sage int,Sdept string)                    row format delimited fields terminated by ','stored as textfile;create table course(Cno int,Cname str...

转载 关于hive中的各种join

准备数据1,a2,b3,c4,d7,y8,u2,bb3,cc7,yy9,pp建表：create table a(id int,name string)row format delimited fields terminated by ',';create table b(id int,name string)row format delimited fields terminated by ','...

原创 hive的分桶，和分区

#开启分桶模式set hive.enforce.bucketing=true;#制定reduce个数是4set mapreduce.job.reduces=4;创建一个分桶表create table stu_buck(Sno int,Sname string,Sex string,Sage int,Sdept string)clustered by(Sno)   //这里的clustered是因为...

原创 crontab的用法

crontab文件的含义：用户所建立的crontab文件中，每一行都代表一项任务，每行的每个字段代表一项设置，它的格式共分为六个字段，前五段是时间设定段，第六段是要执行的命令段，格式如下：minute   hour   day   month   week   command其中：minute： 表示分钟，可以是从0到59之间的任何整数。hour：表示小时，可以是从0到23之间的任何整数。day：...

原创 shell 命令的学习之一

1、if  then fi    这是Linux的shell分支命令  fi在这是结束if语句的意思2、双引号（注意不要和java中的“”弄混淆，Java中的是字符串）输出引号中的内容，若存在命令、变量等，会先执行命令解析出结果再输出例如：var=123 var2="${var}123"echo var2 var2结果为1231233、test 命令（和Java不一样的shell判断需要用test...

翻译 scala学习之一

1.1. 声明变量       var 代表变量    val 代表值不可变1.2. 常用类型   Scala和Java一样，有7种数值类型Byte、Char、Short、Int、Long、Float和Double（无包装类型）和一个Boolean类型1.3. 条件表达式package cn.itcast.scala/** * Created by ZX on 2015/11/7. *...

转载 maven的三种打包插件方式

http://www.blogjava.net/liuguly/archive/2017/05/03/432496.html本文是转发的一篇博客，原文参考上面链接第一种        <groupId>org.apache.maven.plugins</groupId>             <artifactId>maven-jar-plugin</a...

原创 spark streaming 实战入门 （结合github.com/apache/spark的NetworkWordCount.scala案例）

spark解决报错WARN util.Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1. Service 'sparkDriver' could not bind on a random free port. 这个报错提示是在spark启动从节点时出现的。 解决的方法是，在spark-env.sh中加入...

原创 spark core 入门实战之二（RDD的练习）

有以下几种方式创建RDD#常用Transformation(即转换，延迟加载)#通过并行化scala集合创建RDDval rdd1 = sc.parallelize(Array(1,2,3,4,5,6,7,8))#查看该rdd的分区数量rdd1.partitions.lengthval rdd1 = sc.parallelize(List(5,6,4,7,3,8,2,9,1,10))val rdd...

原创 spark core 入门实战之一

sc.textFile("/home/hadoop/test/data/test1.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collectsc是sparkcontext 即是spark的上下文reduceByKey是rdd特有的方法，单纯的scala中没有蒙特卡罗求PI算法启动时候报错Hadoop中com.google.pro...

原创 scala的练习题

 //创建一个List    val lst0 = List(1,7,9,8,0,3,5,4,6,2)    //将lst0中每个元素乘以10后生成一个新的集合   解析 ：       lst0.map(_*10)    //将lst0中的偶数取出来生成一个新的集合   解析 ：      lst0.filter(_%2==0)    //将lst0排序后生成一个新的集合    解析 ：    ...

转载 hbase-1.0.1的60010页面无法打开

在hbase-site.xml中加入一下内容即可<property><name>hbase.master.info.port</name><value>60010</value></property>

原创 整合Flume和Kafka的综合使用

配置avro-memory-kafka#me the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = avroa1.sources.r1.bind = hadoop02a1.sources.r1.port =...

原创 kafka实战

（单节点+单broker）启动kafka！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！kafka是要先启动的！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！kafka-server-start.sh config/server.properties创建一个名为hellotopic的topickafka-topics.sh --c...

原创 Linux环境变量设置，System times on machines may be out of sync. Check system time and time zones.

出现这个错误是因为时间没有同步，date -s "2012-05-18 04:53:00" centos6.5中用这条命令来修改start-all.sh 不能将master中的datanode和nodemanager启动可以在slaves文件中将master节点配置进去要重启yarn和history  mr-jobhistory-daemon.sh start historyserverLinux...

原创 flume实战记录

使用Flume关键就是写配置文件需求一：从指定网络端口采集数据输出到控制台conf的书写# example.conf: A single-node Flume configuration# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sou...

原创 hadoop

原创 IDEA小记

shift+enter 可以快速跳到下一行//ctrl+shift+u 将单词转化为大写或者小写

原创 vituralbox 虚拟机ping不了主机

https://jingyan.baidu.com/album/03b2f78c090fe25ea237ae36.html?picindex=5可以参考这个百度经验。说下自己的情况吧，如果在发现别人ping不通自己，一般是防火墙的原因要允许自己的icmpv4的入站，在入站规则中设置。...

原创 Exception in thread "main" java.io.IOException: Error opening job jarf

用ll（LL的小写）命令可以查看文件的大小，也可以用ls -lht 可以查看文件的大小粘贴出一个错误Exception in thread "main" java.io.IOException: Error opening job jar: myword        at org.apache.hadoop.util.RunJar.run(RunJar.java:160)        at o...

原创 使用eclipse或者IDEA连接Hadoop环境

IDEA 需要配置maven变量将hadoop环境配置上去eclipse 参照下面两个链接https://blog.csdn.net/yunlong34574/article/details/21331927https://www.linuxidc.com/Linux/2015-08/120943.htm记得将防火墙什么的都关掉，要不然无法访问...