w3045872817的博客

namenode工作流程图：1.客户端上传的元数据，如何知道元数据被记录在各个datanode中和如何快速找到客户端需要的元数据，（其中找数据涉及随机查找）2.如何记录元数据的记录表：可以放在内存中，也可以放在磁盘上，但放在磁盘上读取效率低，所以namenode是记录元数据的记录表放在内存中3.现在有个问题，放在内存中，如果出现故障，数据不是就丢失了，为了防止出现这种情

sqoop有两个版本：sqoop1和sqoop2如果你想自己编译源码:以下是执行步骤：1.下载源码2.运行mvn clean package -Pbinary -DskipTests如果报内存错误：set MAVEN_OPTS=XX:MaxPermSize=128M编译docs项目会报异常，对应的pom.xml的一个插件改一个版本3.3<dependency> <groupId>o

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。导入图：sqoop的全称：sql-to-hadoopsqoop分为连个版本，这两个版本完全不兼容版本号的划分： apache:1.4.x~,1.99.

具体的错误为：Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache/hadoop/hbase/HColumnDescriptor;)V原因是：新的Hbase版本使用了新的Api，不支持老的api了。S

首相下载：http://mirrors.shuosc.org/apache/hbase/1.1.12/安装步骤：1.tar -zxvf hbase-1.1.12-bin.tar.gz 2.修改/etc/profile export HBASE_HOME=/home/spark/app/hbase-1.1.12 export PATH=$PATH:$HBASE_HOM

spark联合hbase可以将hbase的数据转化为RDD数据，便于spark操作如何使它们联合呢 直接编辑spark-env.sh这个文件即可准备工作：hadoop，hbase需要有被配置成环境变量 开始：在spark-env.sh文件中添加 export SPARK_DIST_CLASSPATH=$(hadoop classpath):$(hbase class

1.首相将hive中的配置文件hive-site.xml，hadoop的配置文件core-site.xml,hdfs-site.xml------复制到$SPARK_HOME/conf/目录中2.再将jdbc驱动程序mysql-connector-java-x.x.x.jar 复制到$SPARK_HOME/jars或者$SPARK_HOME/lib目录下 3.启动动hadoop，h

hive和hbase整合使用hbase客服端API实现的我这里使用的版本是apache-hive-0.13.1-bin.tar.gz和hbase-0.96.2-hadoop2.tar.gz 1.将hbase中lib目录中的ls hbase- 查出的jar包全部导入hive中的lib目录下，再将htrace-core-2.04.jar 查出来的包导入hive的lib目录下,如图 2.启动hive

今天我们只讲storm的安装：先安装JDK，教程地址：http://blog.csdn.net/w3045872817/article/details/77113539在安装zookeeper，教程地址：http://blog.csdn.net/w3045872817/article/details/77113620安装storm需要的依赖库：安装zeromq：下载ze

zookeeper是什么就不讲了，今天我们讲讲安装：其实安装很简单：首先下载：解压tar -zxvf filename配置：cd conf/vim zoo.cfg修改：dataDir的路径如果是单节点就不用添加server添加：server.1=ip1:2888:3888server.2=ip2:2888:3888server.3=i

下载地址：解压 tar -zxvf filename配置环境变量：sudo vim /etc/profileexport    FLUME_HOME=文件的主目录export FLUME_CONF_DIR=$FLUME_HOME/confexport    PATH=$PATH:$FLUME_HOME/binsource /etc/profile修改

出现这个错误的原因应该是你配置永久函数的主目录中的.hiverc中内容的某个函数不能被创建错误信息如下：spark@spark03:~/app/apache-flume-1.6.0-bin$ hive17/08/10 05:10:50 INFO Configuration.deprecation: mapred.input.dir.recursive is deprecated.

错误信息如下：HTTP ERROR 500Problem accessing /hwi/. Reason:No Java compiler availableCaused by:java.lang.IllegalStateException: No Java compiler availableat org.apache.jasper.JspCompil

我的错误代码为：/home/spark/app/hive-0.12.0/lib/home/spark/app/hive-0.12.0/lib/hive-hwi-0.12.0.war,路径错误出现的原因：hive-site.xml中没有设置hwi的属性，只需要将hive-default.xml.template中的hwi复制到hive-site.xml就可以了

转载:http://blog.csdn.net/qq_30175203/article/details/52084127最近使用log4j写log时候发现网上的写的都是千篇一律，写的好的嘛不全，写的全一点的嘛没有一点格式，看着累。这里把网上收集到的整理了一下，并且全部都在机器上测试成功了。这么好的文档估计没有了吧? #########################################

首先下载kafka安装包tar -zxvf kafka安装包cd configvim server.propertiesA.将zookeeper.connect=zookeeper的ip:2181 这一步也可以不做启动kafka如果A做了就不做这个BB. bin/zookeeper-server-start.sh config/zookeepe!bin/kafka-server-start

----当我们把hadoop集群搭建好后，用浏览器去不能访问，但是在自己的linux上去能能访问，这是为什么呢？可能有以下几种情况：------------1、windows和集群不能通信，在dos中ping ip 看是否能ping通------------2、没有在windows的hosts添加静态的ip和主机名如 192.168.19.133 weekend01

1）数据单元 按照数据的粒度大小，hive数据可以被组织成： 1）databases： 避免不同表产生命名冲突的一种命名空间 2）tables：具有相同scema的同质数据的集合 3）partitions：一个表可以有一个或多个决定数据如何存储的partition key 4）buckets（或clusters）：在同一个partition中的数据可

我们这里用的是本地模式—–metstore存在mysql数据库中 首相：sudo apt-get update 更新一下 sudo apt-get install mysql-server 下载mysql 安装 hive让我们看看hive的结构图吧: 1.首相解压：tar -zxvf ...cd confcp hive-env.sh.template hive-env.sh修改一下内容

今天我们只讲hbase shell的基本操作，我们从这个几个方面讲 general，ddl，namespace，dml，tools，replication，snapshot，securitygeneralstatus：提供 HBase 的状态，例如，服务器的数量table_help：查看所有的帮助文档version：查看版本whoami：提供用户的信息 如 spark (auth:SIMPL

http://hadoop0:50070http://hadoop0:8088http://hadoop0:9000http://hadoop0:198881.关闭防火墙（自己搜：ubuntu是ufw disable）2.将hadoop配置文件中localhost改为ip地址，重启hadoop3.如果http://hado

1.关闭Ubuntu的防火墙：sudo ufw disable2.将core-site.xml、hdfs-site.xml、yarn-site.xml中的localhost或者主机名改为你现在的本机的ip地址3.重启hadoop

执行hadoop jar ...出现，但是执行hadoop fs -l没有ipc.Client:Retrying connect to server:ubuntu/127.0.1.1:8032.Already tried 8 time(s);retry policy is RetryUpToMaximumCountWithFixedSleep这就是没有启动：yarn，只需要star

将hadoop-env.sh中的export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"}改为绝对路径export HADOOP_CONF_DIR=/home/hadoop/hadoop-2.4.1/etc/hadoop(这是我的hadoop路径）

执行start-all.sh出现the authenticity of host 'ubuntu (127.0.1.1)' can't be established找到/etv/ssh/ssh_config在最后添加：StrictHostKeyChecking noUserKnownHostsFile /dev/null或者：ssh  -o StrictHostKe

执行start-dfs.sh时出现： :Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /usr/local/hadoop-2.4.0/lib/native/libhadoop.so which might have disabled stack guard. The VM will try to

在wind7中运行启动hadoop出现错误：2017-06-23 20:10:08,526 WARN [main] util.NativeCodeLoader (NativeCodeLoader.java:(62)) - Unable to load native-hadoop library for your platform... using builtin-java clas

出现这种的原因是：ClassCastException: class com.sun.jersey.core.impl.provider.entity.XMLJAXBElementProvider$Text引用包的时候出错了：应该引用org.apache.hadoop.io.Text;这个包

本文从网络转载。作为一个学算法出身工作了几年的中高级菜鸟，对文中的观点特别赞同。以我自身的切身体会来说，做算法，不光是会几个数学公式，会几个数学公式只是做算法的基础。在初级阶段，会写代码写脚本甚至远比会算法来得重要。算法工程师，本质上也是软件工程师，离开了工程能力，一切都是浮云。前言本来这篇标题我想的是算法工程师的技能，但是我觉得要是加上机器学习在标题上，估计点的人会多一点，所以标题成这样了，呵

导致的原因可能是你没有在core-site.xml中指定它的工作中目录hadoop.tmp.dir/home/...如果写了，但是还是没有那就可能没有格式化namenode或者用错命令了，我就是用错命令了正确命令应该是 hadoop namenode format 希望能帮到你们：

首先如果想连接Linux中的mysql，需要将mysql允许连接的用户设置为：所有用户     两种方式：登录本地msyql -u...  -p...;进入mysql数据库中1.手动授权：update user set host='%' where user='root';2.直接授权（远程登入的命令 msyql -hip地址 -u用户名 -p密码）可以从任意地方登录去

今天我用hive 客户端连接hive server时出现错误，把我弄晕的半天，原来是它好像使用的是默认 的数据库default而我连接的是自己定义的数据，所以会出错错误如下：java.sql.SQLException: Query returned non-zero code: 10001, cause: FAILED: SemanticException [Error 10001]: L

报的错误为信息为:Exception in thread "main" joptsimple.UnrecognizedOptionException: '.....' is not a recognized optionat joptsimple.OptionException.unrecognizedOption(OptionException.java:93)at joptsimp

sbt：simple build tools，针对scala的开发工具类似maven下载：http://download.csdn.net/download/w3045872817/9942252点击安装，然后配置环境变量：右击-->计算机--->属性-->高级设置--->环境变量-->系统变量（新建）变量名：SBT_HOME变量值：sbt安装的主目录如图：

问题一org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.AlreadyBeingCreatedException):failed to create file解决方案：配置文件中：hdfs-site.xml<property> <name>dfs.support.append</name>

1.什么是zookeeperzookeeper:是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop的重要组件，CDH版本中更是使用它进行Namenode的协调控制。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高

 hive连接hbase  准备工作:  hbase-common-1.2.6.1.jar    hbase-server-1.2.6.1.jar  hbase-client-1.2.6.1.jar    hbase-protocol-1.2.6.1.jar  hbase-it-1.2.6.1.jar        htrace-core-3.1.0-incubating.ja...