Hive
一篮小土
这个作者很懒,什么都没留下…
展开
-
sqoop将mysql的表导入导入到Hive
sqoop import –connect jdbc:mysql://192.168.11.200:3308/ls365_article_datafull_20191209 –username root –password 123asd –table articletable –target-dir /user/hive/warehouse/sqoop –delete-target-...原创 2020-03-26 18:03:31 · 271 阅读 · 0 评论 -
Hive性能优化配置
hive.fetch.task.conversion=more默认值是minimal,就是说默认查询都要经过mr。但是一些简单查询比如没有函数、没有order by的,就没必要mr,所以设置为more可以直接查询文件。hive.exec.mode.local.auto=true这个参数叫做本地模式,就是对于小数据集没必要提交到集群。满足以下3个条件的查询job,是没必要提交到集群运行的,可...原创 2020-03-26 18:02:56 · 402 阅读 · 0 评论 -
安装Hue作为Hive的GUI
几个月没有用hive了,感觉有点生疏了,赶紧捡回来。新公司的hadoop版本是:来到新公司,在已有的服务器上发现了hadoop相关的组件,输入hive和hbaseshell居然还能正常登入。嘿嘿,肯定装过hadoop。那我就去找找hadoop装在哪里的。这个好办,随便找找hive/hbase这些进程的执行路径,顺藤摸瓜就能找到hadoop的配置文件所在目录了。cat yarn.xml...原创 2020-03-26 17:59:59 · 863 阅读 · 0 评论