hadoop
steve_tao_csdn
这个作者很懒,什么都没留下…
展开
-
hadoop配置
1.hadoop-env.sh: 修改JAVA_HOME 2.core-site.xml 配置hdfs的namenode地址与hadoop运行时使用的文件地址 name:fs.defaultFS value="dfs://xxxxx" name:hadoop.tmp.dir value="/xxxxx" 3.hdfs-site.xml name:dfs.repl原创 2017-08-05 20:32:10 · 288 阅读 · 0 评论 -
hadoop-hive
一、UDF 1、背景:Hive是基于Hadoop中的MapReduce,提供HQL查询的数据仓库。hive是一个很开放的系统,很多内容都支持用户定制,包括: a)文件格式:Text File,Sequence File b)内存中的数据格式: Java Integer/String, hadoop IntWritable/Text c)用户提供的 map/reduce 脚本:不管什么语转载 2017-08-21 14:23:46 · 267 阅读 · 0 评论 -
pig-hive-elasticsearch
#!/usr/bin/env bash set -x set -e target_date=`date -d last-day +%Y-%m-%d` echo 'it works!' echo "target_date = " $target_date hive -hiveconf target_date=$target_date -f preprocess.hql pig \ -use原创 2017-08-21 16:32:23 · 571 阅读 · 0 评论 -
hive数据导入
(1)、从本地文件系统中导入数据到hive表; (2)、从HDFS上导入数据到Hive表; (3)、从别的表中查询出相应的数据并导入到Hive表中; (4)、在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。 我会对每一种数据的导入进行实际的操作,因为纯粹的文字让人看起来很枯燥,而且学起来也很抽象。好了,开始操作! 一、从本地文件系统中导入数据到Hive表转载 2017-08-22 16:58:27 · 273 阅读 · 0 评论 -
hive基础操作
新建hive表 hive> > > create table xxx_result( > id string, > zzz int, > yyy string) > ROW FORMATDELIMITED > FIELDS TERMINATEDBY '\t' > STORED AS TEXTFILE; hiv原创 2017-08-22 15:19:27 · 275 阅读 · 0 评论 -
hadoop常用命令
hadoop fs -cat hdfs://xxx |less原创 2017-08-24 11:32:08 · 224 阅读 · 0 评论 -
hbase
https://dzone.com/articles/bigtable-model-cassandra-andhttps://mapr.com/blog/in-depth-look-hbase-architecture/https://www.dbrnd.com/2015/05/what-is-mvcc-multi-version-concurrency-control/http://www.pr...原创 2018-04-16 10:24:08 · 296 阅读 · 0 评论