2018年04月_爱知菜

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 HDFS, YARN, HBase, Hive, ZooKeeper端口说明

件节点默认端口配置用途说明HDFSDataNode50010dfs.datanode.addressdatanode服务端口，用于数据传输HDFSDataNode50075dfs.datanode.http.addresshttp服务的端口HDFSDataNode50475dfs.datanode.https.addresshttps服务的端口HDFSDataNode50020dfs.datano...

2018-04-20 16:08:08 390

原创 Ubuntu16.04 伪分布模式 HBase搭建

仅针对伪分布模式, 即单节点解压缩下载的编译好的安装包tar -xzvf hbase-1.2.6-bin.tar.gz -C /opt修改hbase安装目录的conf文件夹下的hbase-site.xml<configuration> <property> <name>hbase.rootdir</name> <value>hd...

2018-04-19 16:52:20 812

原创 Hive Map side join AND Reduce side join

map-side join:map-side join顾名思义就是join的动作在map阶段完成, 不必动用reducer. 但是要用上map-side join必须满足的条件是两个join的表, 必须有一个足够小. 小到可以使用 Hadoop的 DistributedCache 功能把小表缓存到各个执行节点上去.默认小于25Mb的表就会被视为小表, 并进行map-side join.set hi...

2018-04-13 16:52:11 448

原创 Hive HQL 操作总结

hive 的log path(linux) 在 /tmp/username/调用hive:hive -f script.sqlhive -e 'select * from table'hive --config /user/another/config/directoryhive -hiveconf fs.defaultFS=hdfs://localhost HQL 和...

2018-04-09 17:05:03 763