![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数仓项目
bu想起名字
这个作者很懒,什么都没留下…
展开
-
Hive的metastore和hiveserver2
Hive的metastore和hiveserver2hiveserver2相当于是一个代理器.可以代理beeline和jdbc的访问请求,他们都不需要知道密码,只需要连接hiveserver2就可以了metastore连接元数据:可以直接连接,也可以通过metastore.通过metastore就需要开启服务...原创 2020-10-05 17:01:24 · 414 阅读 · 1 评论 -
Sqoop同步策略
Sqoop同步策略全量导入:针对小公司,数据量少增量导入:针对支付表,数据不发生变化新增机变化策略:数据发生变化,16号的数据修改了14号的数据.比如订单表,把14号的数据发生变化,就把数据倒过来覆盖.,就把数据倒过来覆盖....原创 2020-10-05 16:19:44 · 700 阅读 · 0 评论 -
项目经验之Flume内存优化
项目经验之Flume内存优化1)问题描述:如果启动消费Flume抛出如下异常ERROR hdfs.HDFSEventSink: process failedjava.lang.OutOfMemoryError: GC overhead limit exceeded2)解决方案步骤:(1)在hadoop102服务器的/opt/module/flume/conf/flume-env.sh文件中增加如下配置export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun原创 2020-10-05 10:41:09 · 251 阅读 · 0 评论 -
项目经验之Hadoop参数调优
项目经验之Hadoop参数调优1)HDFS参数调优hdfs-site.xmldfs.namenode.handler.count= ,比如集群规模为8台时,此参数设置为41The number of Namenode RPC server threads that listen to requests from clients. If dfs.namenode.servicerpc-address is原创 2020-10-04 17:18:47 · 168 阅读 · 0 评论 -
测试Hadoop上传下载性能
测试Hadoop上传下载性能建好hadoop之后需要面对的问题:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-u1uktqWA-1601802082816)(E:\BigData\学习笔记\Typora\数仓项目\src\装好hadoop之后需要面临的问题.png)]问题:1t的数据需要上传多久1t的数据需要下载多久100t的数据,执行mr需要多久机器能够抗住多少数据量测试HDFS写性能测试内容:向HDFS集群写10个128M的文件 cpu核数-1[原创 2020-10-04 17:02:31 · 291 阅读 · 0 评论