Hadoop
2NaCl
主攻Java后端开发与云计算Paas平台、离线大数据平台相关
展开
-
数据仓库Hive——DDL详细数据操作
文章目录一、Hive基本概念1.什么是Hive2.Hive的优缺点3.Hive的架构原理4.Hive和数据库的比较二、Hive的基本操作指令一、Hive基本概念1.什么是HiveHive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类sql查询功能。本质是:将HQL转化成MapReduce程序,因为(1)Hive处理的数据存储在HDFS(2)Hive分...原创 2019-02-23 13:29:57 · 1157 阅读 · 0 评论 -
数据仓库Hive——DML和查询(上)
文章目录三、DML操作1.数据导入1.1Load给表里装入数据1.2通过查询语句向表中插入数据2.数据导出2.1Insert导出2.1.1将查询结果导出到本地2.1.2将查询结果格式化导出到本地2.1.3将查询结果格式化导出到HDFS上2.2Hadoop命令导出到本地2.3Hive Shell命令导出2.4Export导出到HDFS上3.删除表中数据四、查询1.基本查询1.1列别名1.2算术运算符...原创 2019-02-24 10:03:46 · 676 阅读 · 0 评论 -
数据仓库Hive——函数与Hive调优
文章目录原创 2019-02-28 17:13:46 · 1330 阅读 · 0 评论 -
数据仓库Hive——查询(下)
文章目录四、查询4.Join语句4.1 等值Join4.2 表的别名4.3 内连接4.4 左外连4.5 右外连4.6 满外连5.排序5.1 全局排序(Order By)5.2 按照自定义别名排序5.3 多个列排序5.4 每个MapReduce内部排序(Sort By)5.5 分区排序(Distribute by)5.6 Cluster By6.分桶及抽样查询6.1分桶表数据存储6.1.1先创建分桶...原创 2019-02-24 21:37:00 · 778 阅读 · 0 评论 -
如何配置大数据开发需要的CentOs(6.8)
文章目录虚拟机网络设置重启网卡服务CRT远程连接Linux禁用Selinux禁用防火墙ping外网测试visudo修改主机名(下节课讲解)修改ip与主机名的映射关系安装JDK克隆修改后两台机器的网络配置重启机器(注意,克隆出来的两台机器都要配置)配置SSH无秘钥访问(如下操作,需要在3台机器中分别执行)ssh访问测试虚拟机网络设置IPADDR=192.168.216.20设置自己的静态ip...原创 2019-03-05 21:24:38 · 392 阅读 · 0 评论 -
CentOs安装到Vmware
建议各位电脑运存 8g 因为4g很难带动三台机建议安装CentOs6.8 因为其他版本很多指令不一样,配置也不一样建议安装Vmware 15 pro 以下的版本,因为Vmware 15有很多bug文件——新建虚拟机新建一个文件夹这个CPU核数什么的,还是看你们自己,不过一核也不碍事这个量力而行,1G也能跑得动,不过再低一点就很难了设置之后一路完成即可...原创 2019-03-03 09:05:01 · 244 阅读 · 0 评论 -
SecureCRT安装教程
SecureCRT是一个远程连接到linux的一种工具1.解压缩先2.解压完成3.点击安装4.next5.next6…next7.next,添加快捷方式8.安装9.完成10.右键桌面快捷方式打开文件所在位置11.拷贝覆盖到文件位置,把原来的keygen替换掉12.然后打开13.点击这个东西14.选中15.会提示失败,然后会继续跳窗口继续选中...原创 2019-03-08 07:24:58 · 3676 阅读 · 4 评论