chunyi6295-CSDN博客

转载 HDP集群中MySQL升级步骤

mysql下载： https://dev.mysql.com/downloads/mysql/ 升级目标MySQL版本5.7.18 前置条件： 1. 停止 hive，ranger，oozie等使用MySQL的服务。 2.停止ambari-server 升级流...

2019-08-14 19:46:00 282

转载 hadoop添加ip访问控制

目的：实现访问hadoop集群的客户端主机限制 package : org.apache.hadoop.ipc; class : Server.java void doAccept(SelectionKey key) throws InterruptedExc...

2019-08-14 19:40:00 922

转载 zookeeper添加ip访问控制

目的：设置zookeeper访问主机白名单。修改zookeeper源代码：NIOServerCnxnFactory.java类 /** * @author yinkaipeng * * 实现zookeeper客户的主机的访问控制 * */ String ip...

2019-08-14 19:31:00 6947

转载 hive添加UDF加密函数

目的：实现MD5的加解密 1.写java代码，打jar包： import java.io.UnsupportedEncodingException; import java.security.MessageDigest; import java.security.NoSuchAlgor...

2019-08-14 19:25:00 2244

转载 Linux测试升级httpd对ambari及HDP集群影响

1.检查系统httpd版本号 ps -ef |grep httpd 2.升级httpd 下载httpd 源码&编译： ./configure --with-apr=/usr/local/apr-1.5.2 --with-apr-util=/usr/local/apr-ut...

2019-08-14 19:06:00 220

转载 linux下 ldap server HA 配置

* Master ldap部署* 1.1 master ldap安装 yum install -y openldap openldap-servers openldap-clients openldap-devel 1.2 master ldap配置 cd /etc/openlda...

2018-08-06 16:35:00 437

转载 linux下 ldap安装及使用

安装ldap： yum install -y openldap openldap-servers openldap-clients openldap-devel 配置ldap： cd /etc/openldap/ cp /usr/share/openldap-servers/sl...

2018-08-06 16:04:00 1451

转载 hbase shell常用命令

COMMAND GROUPS: Group name: general Commands: status, version Group name: ddl Commands: alter, create, describe, disable,drop, enabl...

2015-01-13 16:13:00 150

转载 hadoop等配置文件核心部分简介

Hadoop配置 •hdfs-site.xml文件配置(主要配置参数) –dfs.nameservices(指定了集群服务名称) –dfs.ha.namenodes.drmcluster(用于namenode HA的节点名称) –dfs.namenode.rpc-address.drm...

2015-01-11 10:02:00 213

转载使用Java操作HDFS的简单代码

以下是代码： packagehdfs;importjava.io.FileInputStream;importjava.io.FileNotFoundException;importjava.io.IOException;importjava.net.URI;impor...

2015-01-11 09:52:00 118

转载使用eclipse 在远程hadoop集群上在线运行和调试mapreduce程序

前提： 1.我使用的hadoop是hadoop-2.3.0-cdh5.1.0.tar 2.以下是我的hadoop核心配置文件的配置： core-site.xml <configuration><property>...

2015-01-11 09:42:00 247

转载 Hdfs的访问方式

HDFS --访问(一) Hdfs的访问方式有两种，第一：类似linux命令，hadoop shell。第二：java API方式。先看第一种。 FS Shell cat chgrp chmod chown copyFromLocal ...

2015-01-08 12:55:00 2324

转载浅谈hadoop1.0与hadoop2.0的不同

浅谈hadoop1.0与hadoop2.0的不同这几天刚到公司报道，开始了我的实习历程。首先我的目标是对公司的hadoop平台进行学习，希望在短时间自己能够独立搭建，并且能明目个组件内部的交互原理。这两天我进行了hadoop1.0到hadoop2.0（cdh4及以后的版本均为hadoop2...

2015-01-08 11:05:00 436

转载 SVN学习总结

因为马上就要去公司实习了，今天学习了一下SVN，希望将来对我的工作生活会有所促进吧！根据我现在的了解，SVN主要是实现了团队协作开发是的版本控制，有利于提高开发效率，减少版本冲突。SVN也是我到目前为止接触到的版本控制工具里的最好用的，Windows和Linux系统下均可使用，只是shel...

2014-12-24 18:09:00 90

转载 R数据分析及可视化的一个简单例子

需求分析葡萄牙某银行拟根据现有客户资料建立预测模型，以配合其数据库营销策略，营销方式为电话直销，销售产品为某金融产品（term deposit），数据分析的目标为通过预测模型识别对该金融产品有较高购买意愿的用户群。数据形式：从数据库中导出的excel文件数据内容： # ba...

2014-11-12 09:37:00 1350

转载利用json数据传输时几个常用的工具类

在网络客户端与服务器之间进行数据传输时，用json无疑是好的选择之一。但是在传输时如果出现乱码和类型转换问题就让人头疼了。所以首先要统一服务器、客户端的编码，然后确定接受和发送的的方法get()或send()，再然后就是数据类型转换问题了。一般是将List等类型的数据转换成json字符串...

2014-04-21 23:57:00 338

chunyi6295的博客