- 博客(14)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 本地搭建hadoop集群--sqoop的安装.1.4.7 使用db2
安装1、解压tar包2、进入conf目录3、修改配置文件cp -a sqoop-env-template.sh sqoop-env.shvm sqoop-env.sh export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.6export HADDOP_MAPRED_HOME=//opt/module/hadoop-2.7.6...
2018-07-30 15:35:24
864
原创 本地搭建hadoop集群--hbase和zookeeper的安装
zookeeper的安装1、解压tar包2、修改配置文件cd confcp -a zoo_sample.cfg zoo.cfgvim zoo.cfg配置 dataDir=/opt/module/zookeeper-3.4.12/data以及在文本的最后粘贴server.1=master:2888:3888server.2=slave1:2888:3888ser...
2018-07-30 15:14:41
513
原创 本地搭建hadoop集群-hive多节点访问(hive2.3.3)
一、思路1.安装hadoop集群。我这里使用的是自己编译的2.7.62.元数据使用mysql作为技术支撑3.配置hive参数分发至各个节点4.hive服务端启动5.各个节点hive客户端访问 二、mysql的安装rpm -q mysql-server //检查是否安装mysqlyum install -y mysql-server //yum安装servic...
2018-07-25 16:05:58
3248
原创 本地搭建hadoop集群--hive安装2.3.3
2.3.3和2以下的安装区别就是 如下波浪线需要在执行hive之前 进入 bin目录schematool -dbType derby -initSchema这里可以用mysql 。derby都行。 具体支持哪些jdbc 作为元数据底层 这个就不晓得了。目前用的最多的是 mysql这里我就省略了。下面说到了 多用户操作 建议使用mysql数据库。derby不行。 第一步解压...
2018-07-20 18:07:47
748
原创 本地搭建hadoop集群--hadoop集群部署
我的机器 master slave1 salve2 slave3 namenode datanode datanode datanode nodemanager nodemanager nodemanager resourcemanager secondarynamenode ec...
2018-07-18 18:01:22
419
原创 本地搭建hadoop集群--ntp同步集群时间
使用ntp对外提供服务器集群时间同步一般选择masterzu作为ntp服务器首先检查机器是否 安装ntprpm -qa|grep ntp如果安装则编辑文档如下操作 保存退出vim /etc/ntp.conf第一个圈 取消注释第二个圈全部注掉第三个自己加上去修改/etc/sysconfig/ntpd 文件vim /etc/sysconfig/n...
2018-07-18 15:29:57
698
原创 本地搭建hadoop集群--设置ssh免登陆及免登原理
ssh免登就是 机器与机器之间通过密钥相互信任跳过登陆命令cd cd .ssh/ ssh-keygen -t rsa会生成两个密钥id_rsaid_rsa.pub顾名思义 一个是公钥 一个是私钥A与B 之间如何达成 互信呢？A首先将自己得公钥交给B>>A拿着私钥加密好的数据去访问B>>B去授权key集（authorize...
2018-07-17 15:09:01
211
原创 本地搭建hadoop集群-各种报错，不断更新
20180716：Unable to obtain hostNamejava.net.UnknownHostException: hadoop100: hadoop100解决方案：vi /etc/hosts 查看集群对应ip 名称192.168.77.100 master192.168.77.101 slave1192.168.77.102 slave2192.168.7...
2018-07-16 15:42:26
264
原创 本地搭建hadoop集群--hadoop2.7.6-src在linux上编译解决downloading过慢教程
第一步：工具的准备apache-ant-1.9.9-bin.tar.gzapache-maven-3.0.5-bin.tar.gzhadoop-2.7.6-src.tar.gzjdk1.7 就好别用1.8 据说 用1.8 maven 编译 会报各种错。protobuf-2.5.0.tar.gz以上就是需要的所有 工具第二部：linux 可以连接外网。第三部：给 linux 虚拟机 至少分配 4g ...
2018-07-16 10:52:14
1162
原创 本地搭建hadoop集群--准备阶段 JDK安装
从网上下载 jdk1.8.0 linux版本 tag包将文件上传或者copy到/opt 目录下mkdir /opt/moduletar -zxvf 包名Tab补全 -C /opt/module 等待解压完成cd /opt/module/jdk1.8.0_131pwd 复制路劲root下 vi /etc/profile 或者 sudo vi /etc/profile最后一行配置环境变量#JAV...
2018-07-13 11:09:48
180
原创 本地搭建hadoop集群--准备阶段1主3从小型集群
首先在vmware下选中一个关闭的linux 虚拟机单击右键->管理->克隆依次选择下一步，选中虚拟机中的当前状态，下一步，选择创建完整克隆。下一步名称最好有规律将所有集群放在同一个目录下。并按名称 命名子文件夹。方便后期管理克隆完成后启动101、102、103 三台机器因为是克隆出来的虚拟机所以我们需要依次 修改 1、 vi /etc/udev/rules.d/70-persist...
2018-07-11 17:08:04
309
原创 easyui-datagrid 不使用footer完成 首行合计不参与前台排序
1.前台假分页，假排序，不依赖后台代码，将性能瓶颈放在浏览器端。假分页的需求--忽略第一行合计列进行排序我的构思是1st 将排序后的结果取出来2 sec 人为修改排序结果。3 third 将排序结果塞入表格然而通过官方提供的api 依次使用了 load loadData reload 以及 refreshRow 等 发现 循环 遍历 使用 refreshRow 数据量 过大 会 假死。折...
2018-07-09 11:38:55
1774
原创 Integer比较大小所遇到的奇葩问题
this is code：public boolean isMonthTable() { return (null == tableType) ? false : tableType == Constant.TableType.MONTH;}在 tomcat 下 跟踪代码 发现 凡是 调用 isMonthTable()0==0 是 正确的而在webserphere 中 远程调试 发现0=...
2018-07-06 10:06:03
155
原创 centos 6.8手动配置 静态ip 可ping 通外网
归纳总结：网上例子一大堆。整理如下为了加深记忆。首先看下虚拟机配置使用本地DHCP取消勾选。点击NAT设置 查看一下网关子网IP 是一个ip段进入linux 系统 打开命令行输入 cd /etc/sysconfig/network-scripts/ 进入目录查看 网卡 对应 的 ifcfg 文件编辑 ifcfg-eth0这个文件。ONBOOT=yesBOOTPROTO=staticIPADDR=...
2018-07-04 17:32:32
1609
2
bootstrap4支持修改table插件
2018-12-20
hadoop2.7.6编译工具附 源码
2018-07-16
mybatis,spring,db2 整合工程
2017-12-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人