2016年10月_CottonDuke

12月 11月 10月 09月 08月 06月 04月 03月

原创 zookeeper

下载zookeeper3.4.5重命名配置文件zookeeper_home/conf/zoo_sample.cfg修改为zoo.cfg修改配置文件zoo.cfg dataDir目录指定了ZK的数据目录，用于存储ZK的快照文件（snapshot）。另外，默认情况下，ZK的事务日志也会存储在这个目录中dataDir=zookeeper_home/data dataDir日志太多，一般要设置定时删除机...

2016-10-25 23:00:16 532

转载 storm安装

1、安装一个zookeeper集群2、上传storm的安装包，解压3、修改配置文件storm.yaml#所使用的zookeeper集群主机storm.zookeeper.servers: - "weekend05" - "weekend06" - "weekend07"#nimbus所在的主机名nimbus

2016-10-25 22:53:25 557

转载 liunx 安装mysql

安装过程http://blog.csdn.net/chenxingzhen001/article/details/7519350安装过程中出现jar包冲突的解决办法http://blog.csdn.net/testcs_dn/article/details/39026213启动mysqlmysql -u root -p密码在/root/.my

2016-10-25 18:26:14 220

转载 mysql函数

mysql 中 unix_timestamp和from_unixtime 时间戳函数 http://blog.csdn.net/lxpbs8851/article/details/8604747

2016-10-25 11:47:20 210

转载 hive函数

rank() over dense_rank() over row_number() overhttp://www.cnblogs.com/dycg/p/4260283.html

2016-10-25 10:53:24 315

转载 hive maven 编程

dependency> groupId>org.apache.hivegroupId> artifactId>hive-jdbcartifactId> version>0.14.0version>dependency>dependency> groupId>org.apache.hadoopgroupId> artifactId>hadoop-commo

2016-10-25 00:09:00 2239

转载 mysql

exists inhttp://blog.sina.com.cn/s/blog_797c9c9f0101amyp.html

2016-10-25 00:05:58 243

原创 flume

1下载flume.apache.org2修改配置flume_home/conf/flume-env.sh添加JAVA_HOME3.启动flume flume-ng agent -n a4 -C /home/sfapp/conf -f /home/sfapp/conf/a4.conf -Dflume.root.logger=INFO,con

2016-10-24 18:23:58 328

转载 hadoop伪分布式非ha搭建

1.准备Linux环境1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.8.0 子网掩码：255.255.255.0 -> apply -> ok回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性

2016-10-24 14:31:06 427

转载 kafka基础

http://kafka.apache.org/quickstartkafka笔记 1/kafka是一个分布式的消息缓存系统2/kafka集群中的服务器都叫做broker3/kafka有两类客户端，一类叫producer（消息生产者），一类叫做consumer（消息消费者），客户端和broker服务器之间采用tcp协议连接4/kafka中不同业务系统的消息可以通过topic进行

2016-10-22 14:30:36 453

原创大数据软件的兼容性

可以去官网查看软件之间的配套版本hive 0.14hadoop 2.6hbase 0.98jdk1.7

2016-10-21 15:10:26 748

转载 hbase

物理数据模型其实就是将逻辑模型中的一个Row分割成为根据Column family存储的物理模型。对于BigTable的数据模型操作的时候，会锁定Row，并保证Row的原子操作。Hbase由行和列组成行按照((列族)) 划分每个列族在硬盘上都自己的HFile(二进制文件，不能直接读取)HFile:一个列族可以有多个HFile，但是一个HFile不能储存多个列族(Column)，每个列族都有一个Me...

2016-10-20 20:45:45 699

原创 IDea maven

解决-Dmaven.multiModuleProjectDirectory system property is not set. Check $M2_HOME environment variable and mvn script match.IDEA:设置环境变量M2_HOME：maven的安装目录settings中搜maven 下的runner vm Options加

2016-10-20 20:14:53 420

转载 hive知识3

文件格式TextFileSequenceFileRCFileORC使用SequenceFile存储格式存储> create table test2(str STRING) STORED AS SEQUENCEFILE; hive> set hive.exec.compress.output=true;hive>

2016-10-19 07:54:38 398

转载 spark 函数

“flatMap “函数的一半功能和map函数一样，不过有个要求，传入的函数在处理完后返回值必须是List(应该是Seq)，如果结果不是List(Seq)，那么将出错。也就是说，传入的函数是有要求的——返回值是Seq才行。这样，每个元素处理后返回一个List，我们得到一个包含List元素的List，flatMap自动将所有的内部list的元素取出来构成一个List返回。flatMapV

2016-10-18 09:41:17 745