- 博客(1)
- 资源 (22)
- 收藏
- 关注
原创 hive- order by、sort by 、distribute by、cluster by
有几天儿没写博客了 ~1.order byorder by 会对数据进行全局排序,和oracle和mysql等数据库中的order by 效果一样。对数据做全局排序,加上排序,会新启动一个job进行排序,会把所有数据放到同一个reduce中进行处理,不管数据多少,不管文件多少,都启用一个reduce进行处理。如果指定了hive.mapred.mode=strict(默认值是nonstric...
2018-08-23 12:06:54 343
Algorithm negotiation fail
解决java强加密问题,Algorithm negotiation fail JDk1.8的Strong encrytion的问题,摘要必须大于100个字节!
2017-09-06
开发hadoop配置
hadoo2.7.3的hadoop.dll和winutils.exe,/
2、Linux下开发hadoop需要导入eclipse的JAR包--hadoop-eclipse-plugin-2.7.3.jar
3、Windows下开发hadoop需要导入hadoop下bin的文件--hadoop-common-2.2.0-bin-master
4、新建包org.apache.hadoop.io.nativeio其修改后类--NativeIO.java
Linux和Win下配置eclipse开发hadoop步骤详解
2017-02-16
IO集合增强for循环练习
/*公司财务发工资时,记录了当时发工资的资料Employee.txt
1.定义公司员工类Employee,属性有:工号,姓名,性别,工资(double类型),进行属性的隐藏和封装,重写toString.
2.将D:/Employee.txt文件用程序复制到项目根目录;
3.读取项目根目录下的文件Employee.txt内容存入ArrayList<Employee>
4.以工号为键,员工姓名为值存入HashMap<String,String>中.再遍历输出Map集合中的内容;
5.当公司记录该信息的职员将信息交给经理,经理进行审查时,发现有一些信息录入错误,需要在集合中进行数据修改:
① 将陈璐璐改为:张路路且工资改为:7500.0元
② 程曦原本是位女士
③工号中所有的”2”都应改为”7”;输出修改后的ArrayList<Employee>
6.将修改后的职工信息按工资从高到低排序,工资相同的按工号从小到大排序.
7.判断项目根目录下是否有”result”文件夹,如果没有,则用程序新建文件夹”result”,并将
修改并排序后的信息写出到”result”文件夹的Employee-new.txt文件中,格式与Employee.txt相同*/
2016-09-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人