- 博客(8)
- 收藏
- 关注
原创 从Navicat导出oracle建表语句,应用sqoop将oracle中的表数据导入到hive
ORACLE库的操作首先选择navicat作为这个文件的工具,作为数据库的导入和导出工具。 导出的时候 会连结构和数据都导出来,会形成一个sql文件 也可以只倒视图或者表都可以的。但是以导出的这个文件导入的时候 会有这样的问题。就是在导入的时候,在视图导入的时候 会有问题,就是很多视图会有依赖关系 这样就需要在导入库的时候 先创建有依...
2018-06-14 11:07:23
5797
转载 解析json格式文件
待解析的JSON格式的文件如下: [{"id":"5", "version":"1.0", "name":"xiaowang"}, {"id":"10", "version":"2.0", "name":"lisi"}]一、使用JSONObject来解析JSON数据 官方提供的,所有不需要导入第三方jar包;直接上代码,如下: //方法一:
2018-01-06 22:07:12
579
转载 -bash: ls: command not found
问题:有可能是系统环境变量导致的问题解决方案: exportPATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin
2017-12-01 21:34:49
189
转载 HDFS各节点常用端口
组件节点默认端口配置用途说明HDFSDateNode50010dfs.datanode.addressdatanode服务端口,用于数据传输HDFSDateNode50075dfs.datanode.http.addresshttp服务的端口
2017-11-08 20:03:45
6139
1
转载 用hive解决数据的查找问题(影评案例)
现有如此三份数据:1、users.dat 数据格式为: 2::M::56::16::70072对应字段为:UserID BigInt, Gender String, Age Int, Occupation String, Zipcode String对应字段中文解释:用户id,性别,年龄,职业,邮政编码2、movies.dat 数据格式为: 2::Jumanji (
2017-11-08 19:17:56
1468
转载 Java运行不了zookeeper可视化工具jar文件问题解决
1:搜索javaw方式打开默认2:搜索栏里:regedit3:在注册表编辑器中,找到“HKEY_CLASSES_ROOT\Applications\javaw.exe\shell\open\command”,在其中文件打开命令中加入参数“-jar”(无引号),修改后的数值类似:“"C:\Program Files\Java\jre7\bin\javaw.exe" -jar "%
2017-11-06 20:24:10
628
原创 hive的安装和操作笔记-day1
1、正常的安装hive:两个版本的区别:hive-1.x 底层支持的:mapreduce的老 APIhive-2.x 底层支持的:mapreduce的新API 和 spark 和 tez 准备工作:1、准备一个外置的MySQL,能够让安装hive的节点进行访问检查是否安装MySQL命令:rpm -qa | grep -i mysql一定要启动MySQL:s
2017-10-30 20:16:32
211
转载 基本排序算法及其在MapReduce的应用
1 文档说明该文档为学习基本排序算法过程中的学习笔记,大部分内容从网络上其他渠道也能得到,仅用于记录备忘之用。冒泡、选择、插入三种作为基本的排序算法是必须要掌握的,而在MapReduce的实际应用中。在Map阶段,k-v溢写时,采用的正是快排;而溢出文件的合并使用的则是归并;在Reduce阶段,通过shuffle从Map获取的文件进行合并的时候采用的也是归并;最后阶段则使用了堆排作
2017-10-27 19:28:54
1787
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人