大数据技术
大数据技术
superLearnner
这个作者很懒,什么都没留下…
展开
-
【hive shell】hive命令与beeline命令对比
1、结论:hive后期版本已经不建议直接使用hive命令,而是推荐使用beeline,其中一个原因是beeline命令参数更灵活,表达更丰富2、以shell中读取hive数据写入文本为例说明:方式一:hive -e1)该方式生成的文件头部有时候会输出一些日志信息,而这些明显不是我们想要的,此为弊端1;2)hive命令可携带的参数太少了,如不能使用beeline的 --showHeader="false" --outputformat="dsv"等hive -e "${hql1...原创 2021-09-26 17:33:32 · 1672 阅读 · 0 评论 -
hbase buldload方式写入数据
一、shell实现1)importtsv生成hfile#写法1hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator=, -Dimporttsv.columns='HBASE_ROW_KEY,mc:custgroupid,mc:user_no' -Dimporttsv.bulk.output=${hfilepath}/bulkload_data ${1} ${hdfspath}#写法2hadoop...原创 2021-09-24 17:04:07 · 200 阅读 · 0 评论 -
查询hdfs集群名称(hdfs系统根路径)
在集群hadoop节点、或客户端hadoop节点上查询core-site.xml配置内容,(2以上版本core-site.xml的路径:hadoop/etc/hadoop/core-site.xml)执行cat core-site.xml |grep hdfs:// 即可原创 2021-09-13 16:14:47 · 1836 阅读 · 0 评论 -
HBase shell操作
操作 命令 namespace相关 1)创建namespace: create_namespcae 'name' 2)删除namespace :drop_namespace 'name' 3)查看namespace: describe_namespace 'name' 4)列出所有namespace list_namespace 扩展:https://blog.csdn.net/opensure/arti...原创 2021-08-25 16:58:04 · 118 阅读 · 0 评论