Hadoop
quguanghui1998
这个作者很懒,什么都没留下…
展开
-
HashMap遍历、使用HashMap实现单词统计WordCount
HashMap常用遍历://map遍历常用遍历方法,遍历方法还有多种,没有一一展示public class HashMap遍历 { public static void main(String[] args) { HashMap<String, String> map = new HashMap<> (); map.put ("1", "zhangsan"); map.put ("2", "lisi");原创 2020-11-02 18:58:03 · 404 阅读 · 0 评论 -
HDFS读写文件操作流程
1、读取文件:1、客户端首先创建DistributedFileSystem对象2、向NameNode发出下载请求3、NameNode根据举例优先选择合适的节点以及数据块信息响应给客户端4、客户端根据响应创建输出流下载数据,此时会先读取nn1数据,读取结束如果数据不够再建立下一个通道读取下一个节点数据,直到读取完毕。案例:从hdfs上截取方式下载数据@Test //文件截取,下载块文件(比如查日志的时候只查看最后一块) //查第一块 public void原创 2020-05-24 17:58:18 · 256 阅读 · 0 评论 -
hive命令案例练习
Hive练习:环境准备:jdk、hadoop并配置、下载安装并解压hive使用时先启动hadoop的hdfs和yarn集群、然后在hive/bin下执行hiveHive基础指令练习:显示数据库,使用数据库,显示表。创建数据库gh,使用gh,创建stu表;向stu中插入数据并查看:先在/root/下创建aa.txt并提前写入数据,然后执行如下:通过加载当前文件系统中的文件数据到表中:出现null的原因是外部导入格式不同删除重新创建stu表并指定其分割符为原创 2020-05-15 19:32:56 · 337 阅读 · 0 评论 -
Hadoop伪分布式集群安装笔记
系统常用配置文件及含义:1、/etc/inittab 用于开机是否选择使用图形界面2、/etc/sysconfig/network-scripes/ifcfg-ens33 用于配置ip地址3、/etc/hosts 设置IP地址与主机名映射,(类似解析域名)4、/etc/profile 用于配置环境变量(用于当前机器全局用户)5、/etc/bashrc 配置环境变量只用于当前用户...原创 2020-03-23 22:23:15 · 115 阅读 · 0 评论