- 博客(10)
- 收藏
- 关注
RSS订阅原创 sqoop安装
1.Why电脑的硬盘是 hdfs，CPU+内存：mr；软件：hive，hbase如何打通本地和大数据的道路呢两种方式手动：我们使用浏览器把本地的文件上传到百度网盘中；（java连接hdfs）手动：使用百度网盘推出的电脑app和手机app把数据上传到网盘中；把数据上传到hdfs中，自动：数据有两种格式：文件（日志），数据库日志：flume；数据库里面的数据上传到hdfs中；通过navicat导出功能；文件的格式得注意通过hive建表...
2020-07-28 15:51:35
269
原创 hive多用户模式&单用户模式&本地模式+常见问题
hive的三种模式的安装hive的组成部分本地模式hive的组成部分1 Metastore:元数据的存储;元数据(数据库的表结构，列);mysql中一个文件:除了文件内容以外的叫做元数据;(放到了namenode上)2 Cli:client:客户端;hive的黑窗口3 jdbc:连接的4 Webgui本地模式先启动hadoop，zookeeper随便选择一台虚拟机(node7-4)将hive的包传到虚拟机上；...
2020-07-28 11:04:45
639
原创 Hadoop经典面试题+
文章目录1.根据如下要求编写对应的HQL语句2.HDFS默认的Block块大小是多少？为什么块的大小不能设置太小，也不能设置太大？3.用一句话总结Combiner的作用和意义？4.列出常用的hdfs 命令（至少10个，并说明命令的作用）Hadoop fs | hdfs dfs 命令分类5. 用一句话总结Combiner的作用和意义？6.Hadoop集群可以运行的三个模式？7.完全分布式有什么注意点...
2019-12-14 09:53:52
277
原创 Linux 其他命令 定时任务
Linux其他命令IP addr (ifconfig)查看IPreboot重启系统init 0关机Init 6 重启机器history历史命令who显示在线登录用户hostname显示主机名设置主机名：hostnamectl set-hostname 要设置的名字cut分割echo “hellow world” |cut -d 指定分隔符 “” -f 2 (通...
2019-12-06 16:48:55
102
原创 大数据 Zookeeper 必要命令
zookeeper命令命令基本语法功能描述help显示所有操作命令ls path [watch]使用 ls 命令来查看当前znode中所包含的内容ls2 path [watch]查看当前节点数据并能看到更新次数等数据create普通创建-s 含有序列-e 临时（重启或者超时消失）get path [watch]获得节点的值set设...
2019-12-06 15:53:58
158
原创 linux虚拟机集群时间同步
用一个虚拟机作为设置时间的虚拟机，其他的虚拟机都与这台虚拟机同步时间，时间同步可以设置十分钟同步一次 也可以二十分钟同步一次。设置时间的虚拟机配置【配置时间的虚拟机必需是root用户】检查ntp安装了没有[root@zdl02 ~]$ rmp -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1....
2019-11-12 16:35:51
681
原创 java 基本数据类型&命名规范
java的数据类型1. java的基本数据类型1.基本数据类型byte 【字节类型】 1字节：取值范围：-128~127short 【短整型】 2字节：取值范围：-32768~32767int 【整型】 4字节：取值范围：21亿左右long 【长整型】 8字节：取值范围：900多兆2. 小数类型【浮点类型】 float【4字节：单精度：小数点后面的小数支持到8-1位】 do...
2019-11-12 08:42:59
371
原创 shell脚本&shell内容总结
shell变量1. $HOME、 $PWD、 $SHELL、 $USER等2. 自定义变量基本语法定义变量：变量=值撤销变量：unset 变量声明静态变量：readonly变量，注意：不能unset3变量名称可以由字母、数字和下划线组成，但是不能以数字开头，环境变量名建仪大写等号两侧不能有空格在bash中，变量默认类型都是字符串类型，无法直接进行数值运算。变量的值如果...
2019-11-10 21:39:52
438
原创 学习Linux必会命令 模式切换
一般模式以vi打开一个档案就直接进入一般模式了（这是默认的模式）。在这个模式中， 你可以使用『上下左右』按键来移动光标，你可以使用『删除字符』或『删除整行』来处理档案内容， 也可以使用『复制、贴上』来处理你的文件数据。语法功能描述yy复制当前一行y数字y复制一段（从第几行到第几行）p箭头移动到目的行粘贴u撤消上一部dd删除当前一行d数...
2019-11-10 21:09:45
781
原创 java环境变量配置&第一个java
配置java环境变量和第一个java一、JDK的下载（java的开发运行环境）1.JDK1.8下载地址:链接: link.2.JDK安装1.以管理员身份运行JDK程序2.点击下一步3.安装路径：D:\JDK1.8\，点击下一步【不要有中文和空格】4.安装jre，点击下一步5.OK3.测试JDK是否安装成功找到JDK安装路径，查看bin目录下有没有：java.exe jav...
2019-11-10 18:05:56
118
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人