- 博客(6)
- 收藏
- 关注
RSS订阅原创 新建java文件设置注释
新建java文件设置注释 设置步骤： File–> Settings–> Editor–> File and Code Templates–> Includes–> File Header–> “添加以下代码” 添加如下代码（此处的${USER}会读取个人PC的用户名）： /** *@ClassName ${NAME} *@Description TODO *@Author ${USER} *@Date ${DATE} ${TIME} **/ 官方解释： ${PA
2021-12-06 14:13:33
205
原创 2021-03-31
Hql或Sql书写过程中join和where表管理区别 1.学校期间学习表关联连接知道join on 连接，left join连接，inner join连接 。内连接、外连接、自连接、多表连接、交叉连接。 到了公司，发现公司的表连接都只有一种，而且还不是我们以前学习过的，就是用最简单的where实现，具体如下： --join select * from A a join B b on a.id=b.aid; --where select * from A a,B b where a.id=b.aid; w
2021-03-31 11:24:18
70
原创 报错总结：
报错总结： Spark on Yarn上报错 1.在IDEA上跑maven打包后的wordCount程序出现 Exception in thread "main" java.lang.RuntimeException: Error in configuring object at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:113) at org.apache.hadoop.util.ReflectionU
2020-10-11 22:25:28
184
原创 想要的mapReduce如何工作
1.MapReduce的工作流程 1.一堆待处理的文本 2.客户端读取它，submit（）提交任务，获取切片文件，配置信息 ，如果是集群模式还是得有必要的jar包 3.job提交信息 4.MR appmaster(项目经理，job的老大负责读取切片信息)，计算出MapTask的数量（切了两个片，给你起两个MapTask） 5.有了MapTask，启动之后先调用InputFormat组件去读数（hadoop默认的TextInputFormat，TextInputFormat 是调用LineR
2020-09-03 22:36:37
141
原创 Hadoop数据优化
Hadoop数据优化 1.压缩（在下面IO优化中使用） 在运行MR程序时，I/O操作，网络数据传输，shuffle和Merge要花大量的时间，因此使用数据压缩很重要。 数据压缩对于节省资源，最小化磁盘I/O和网络传输非常有帮助。可以在任意MapReduce阶段启用压缩。 注意：采用压缩技术减少了磁盘IO，但同时增加了CPU运算负担。所以，压缩特性运用的当可以提高性能，但运用不当也可能降低性能。 压缩基本原则： （1）运算密集型的job，少用压缩 （2）IO密集型的job，多用压缩 1.1MR支持的压缩编码
2020-08-16 09:06:26
185
原创 Exception in thread “main“ java.lang.UnsatisfiedLinkError：org.apache.hadoop.io.native.NativeID$
wordcount在本地运行报错解决：Exception in thread “main” java.lang.UnsatisfiedLinkError：org.apache.hadoop.io.native.NativeID$Windows.access 解决办法可能是三个地方： 1：看自己工程中的pom.xml中添加的这个依赖是否与以下hadoop在 window中存放的版本是否一样 下面是window中的存放hadoop版本 2.在Hadoop版本安装目录下有一个bin目录找到这个hadoop.d
2020-08-09 11:14:14
1241
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人