- 博客(18)
- 收藏
- 关注
RSS订阅原创 原生 Hive 1.2.1 的安装
1、下载hive 1.2.1http://apache.fayea.com/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gz 2、设置HIVE_HOME到 .bashrc 文件中 3、启动HDFS文件系统，创建 /tmp目录及 /user/hive/warehouse 目录$HADOOP_HOME/bin/hadoop fs -mkdir /tmp$HA
2016-12-22 17:47:54
607
原创 DevOps数据中心
在Azure上搭建DevOps数据中心 Azure + VSTS + Docker Swarm dhcp dns ad ip网段 镜像市场 Azure上创建环境
2016-12-21 10:15:00
525
转载 三范式
1NF原子性，字段不可分； 举个例子，一个人员信息表中一个字段电话，它即有家庭电话也有公司电话，这就违反了1NF。这时候我们应该把它拆分为两个字段。2NF唯一性，有主键，非主键字段依赖主键，不可只依赖主键的一部分； 举个例子，一个订单信息表的主键是由Order_id+Product_id组合而成，而如果此时表里面有字段如Product_name，Product_no等，这些字段只与Produc
2016-10-14 15:50:40
511
原创 Maven 笔记
Maven简介为何mavenmaven 翻译为“知识的积累”，maven让研发工作能够通过一条指令简单完成maven是优秀的构件工具、跨平台、maven统一了项目的构件方式，让不同的开发人员构件的项目是一样的，免去了新人上手的时间maven支持极限编程：Maven的安装和配置检查JDK，maven3.0要求JDK1.5以上版本，我用的JDK1.7Maven下载（http://maven.
2016-10-11 15:52:08
384
原创 hadoop运行错误 java.io.FileNotFoundException QuasiMonteCarlo
[hadoop@master mapreduce]$ hadoop jar hadoop-mapreduce-examples-2.7.2.jar pi 1 1Number of Maps = 1Samples per Map = 1Wrote input for Map #0Starting Job16/08/10 03:27:13 INFO client.RMProxy: Conne
2016-08-12 15:33:47
5408
6
原创 Spark_2.0 on hadoop_2.7.2
一、在安装hadoop2.7.2参考： http://blog.csdn.net/qq_35613461/article/details/52125795二、安装Spark2.0hadoop2.6.x与spark1.6兼容 hadoop2.7.x与spark2.0兼容 1、获取spark2.0:http://spark.apache.org/downloads.htmlhttp://d3kb
2016-08-10 10:47:02
596
1
原创 hadoop2.7.2的安装过程
一、准备安装环境：1、Vmware workstation 12 的安装2、虚拟机 Red Hat RHEL 6.6[hadoop@master ~]$ more /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost
2016-08-05 09:15:25
5177
转载 关于Linux Red Hat 6.6 的hostname修改
以前一直以为Linux的hostname是修改/etc/hostname，似乎也成功过，今天修改hostname发现重启后也没有生效，觉得很奇怪，在网络上搜到一片文章：http://www.cnblogs.com/kerrycode/p/3595724.html摘录重点内容如下：方法1：修改了/etc/sysconfig/network下的HOSTNAME后，然后使用echo serve
2016-08-04 21:56:11
2687
原创 Clouder-Manager 5.4.10 下安装Kafka
参考官方安装文档http://www.cloudera.com/documentation/kafka/latest/topics/kafka_installing.html 一、下载parcels文件（Red Hat el6.6） http://archive.cloudera.com/kafka/parcels/2.0.2/KAFKA-2.0.2-1.2.0.2.p0.5-el6.parce
2016-07-28 10:48:03
5852
原创 cloudera-manager 5.4.10的安装
[root@DEV-RHEL66-055 appuser]# cat /etc/redhat-release Red Hat Enterprise Linux Server release 6.6 (Santiago) [root@DEV-RHEL66-055 appuser]# more /proc/version Linux version 2.6.32-504.el6.x86_64 (
2016-07-21 15:09:25
1369
原创 关于mysql-community-server-5.7.13安装过程
由于分布式系统架构中含有mysql中间件，用以元数据的存储。搞了一个社区版的mysql，版本号5.7.13，GA版本（整体可用）。在家了的时候 dev.mysql.com 访问很流畅，下载 文件mysql-community-server-5.7.13-1.el7.x86_64.rpm ，但是安装过程需要多个rpm包。
2016-07-21 09:40:38
5672
转载 关于sz、rz的安装
sz、rz是1999年分布的一个配合secureCrt使用的工具软件，其利用linux的error信息通道，在服务器与SecureCrt客户端之间，方便的传送文件。下载地址：http://www.ohse.de/uwe/software/lrzsz.html 安装方法：一、首先通过sftp工具把安 装文件上传到/tmp目录下：cd /tmp wget http://www.ohse.de/uwe
2016-07-18 18:33:53
351
原创 关于WMWare WorkStation 12 共享目录的设置
1、WMWare WorkStation共享目录之前需要安装VmwareTools 1）将安装介质导入CD-ROM 2）检查导入是否有效 3）挂接CDROM [root@nNode cdrom]# mount /dev/cdrom /mnt/cdrom 4）拷贝 VMwareTools-10.0.1-3160059.tar.gz 到 /tm
2016-07-18 17:41:39
1294
原创 /home/User/.ssh/known_hosts
一、清除SSH的就公钥信息 用SSH的跳转登录服务器后，ssh会把你每个你访问过计算机的公钥(public key)都记录在~/.ssh/known_hosts。当下次访问相同计算机时，SSH会核对公钥。如果公钥不同，OpenSSH会发出警告，如果我们重新安装系统，其公钥信息还在，连接会出现如下截图情况，组织自动登录，最好的解决办法，就是使用下面的指令重新连接一次，来清除旧的公钥信息： ssh-
2016-07-18 14:20:11
13464
转载 RedHat Enterprise Linux 7关闭防火墙方法
RedHat Enterprise Linux 7关闭防火墙方法在之前的版本中关闭防火墙等服务的命令是service iptables stop /etc/init.d/iptables stop在RHEL7中,其实没有这个服务[root@rhel7 ~]# cat /etc/redhat-release Red Hat Enterprise Linux Server release 7.0
2016-07-18 10:58:52
27206
原创 VMware，导入虚拟机，网卡出现异常
显示mdw主机的网卡由原来的eth0变成了eth2（这是因为虚拟机mdw重新导入引起的）Linux启动的时候会顺序加载网卡，从eth0到ethN，所以eth0没有启动是网卡配置错误造成的，修改/etc/sysconfig/network-scripts/ifcfg-eth0 文件无法生效，也印证了eth0配置错误的的问题，经过检查发现/etc/sysconfig/network-scripts
2016-07-18 08:50:47
1063
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人