hadoop
二次元的罪恶王冠
这个作者很懒,什么都没留下…
展开
-
Phoenix 采用bulkload 导入 hbase (2017-8-16)
本地CSV文件测试:2. 创建表在phoenix的CLI界面创建user表。> create table CSV_BULK_LOAD (id varchar primary key,account varchar ,passwd varchar);3. 添加测试数据在【PHOENIX_HOME】目录下创建data.csv,内容如下:001,google,AM原创 2017-08-16 18:07:37 · 1929 阅读 · 0 评论 -
win10 IDEA 链接远程hadoop 2.6 集群
win10 准备:1。下载 hadoop2.6-CDH5.7.5 解压 //重要说明:CDH 和 普通版本不一样2。下载 winutils .exe ( hadoop2.6-CDH5.7.5版本 )3 .将winutils.exe 放入 hadoop2.6/bin 中 ,同时添加环境变量,4 将登陆用户设置成英文名字,进入计算机管理界面,本地用户,用户,改成英文的...原创 2018-03-27 16:31:44 · 870 阅读 · 0 评论 -
IDEA 打包 spark 程序 并在远程 hadoop HA 上运行测试
1. idea 安装创建 (略)2。创建 scala 的 Maven 项目 (略)3。导入maven 依赖 (重要)<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://ma...原创 2018-04-09 14:54:32 · 423 阅读 · 0 评论 -
Hbase1.25 Bulkload 代码实测版(详细图文)
描述 不说 百度!代码:package HbaseBulkLoadTest;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbas...原创 2018-03-26 19:00:09 · 1596 阅读 · 0 评论 -
Hadoop 海量小文件处理 InputFormat RecoreReader
TextInputFormat提供了对文本文件的处理方式,通过InputSplit进行分片(FileSplit),每一个分片分别new一个LineRecordReader进行读取解析,解析得到的每一行以<key, value>的形式传给Mapper的map()函数。应用示例:随机生成100个小数并求最大值。MapReduce自带的输入类型都是基于HDFS的,本示例不从HDFS读取数据,...转载 2018-03-12 17:52:11 · 184 阅读 · 0 评论 -
WIN 10 java 安装 (错误异常处理)
JDK的安装1.配置信息:①JAVA_HOME指明JDK安装路径,安装时所选择的路径C:\Program Files\Java\jdk1.7.0_80,此路径下包括lib,bin,jre等文件夹(此变量最好设置,因为以后运行tomcat,eclipse等都需要依*此变量); ②Path使得系统可以在任何路径下识别java命令,设为:%JAVA翻译 2017-10-24 17:43:50 · 5353 阅读 · 0 评论 -
Hive2.0 在 Hadoop2.7部署 (2017.03添加异常处理)(图文解说)
1 下载解压略2.安装Mysql,MYSQL的安装略《参照上一篇Mysql部署》 安装好mysql并配置好了之后,还要将连接mysql的驱动:mysql-connector-java-5.1.41.jar 拷贝到HiveHome 目录下的lib文件夹中,这样Hive才可能成功连接mysql。3.创建hive用户原创 2017-03-09 16:28:15 · 521 阅读 · 0 评论 -
Hadoop2.6 HA 高可靠部署 (2017.03修正,图文解说)
1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系######注意######如果你们公司是租用的服务器或是使用的云主机(如华为用主机、阿里云主机等)/etc/hosts里面要配置的是内网IP地址和主机名的映射关系4.关闭防火墙5.ssh免登陆6.安装JDK,配置环境变量等集群IP,角色信息 nn =namenoderm= resourceman...原创 2017-03-13 11:34:36 · 716 阅读 · 0 评论 -
Hbase 在Hadoop HA上的部署 (2017.03 修正,图文解说)
hbase-0.98.9-hadoop2 搭建 解压缩,并重命名 1. [root@Master local]#mv hbase-** hbase0.98 //这是我的版本复制代码 修改HBase的配置文件#HBASE_HOME/conf/hbase-site.xml,修改内容如下:原创 2017-03-14 18:01:39 · 423 阅读 · 0 评论 -
Hbase1.2.5 hadoop2.7.3 importsv实例
数据导入有如下几种方式: 1.利用Hbase提供的ImportTsv将csv文件导入到HBase 2.利用HBase提供的completebulkload将数据导入到HBase 3.利用HBase提供的Import将数据导入到HBase利用ImportTsv将csv文件导入到HBase命令:格式:hbase [类] [分隔符] [行键,列族] [表] [导入文件]转载 2017-05-09 18:56:43 · 821 阅读 · 0 评论 -
hadoop2 (2017-7-21修改)对SequeneceFile 的(读写)操作
写操作根据上一篇的介绍,在hadoop2.x之后,Hadoop中的SequenceFile.Writer将会逐渐摒弃大量的createWriter()重载方法,而整合为更为简洁的createWriter()方法,除了配置参数外,其他的参数统统使用SequenceFile.Writer.Option来替代,具体有:新的API里提供的option参数:转载 2017-07-21 17:51:43 · 415 阅读 · 0 评论 -
sequenceFile 转换,并导入至hbase中 (图文解说 2017-7-23)
我找了几个图片作为数据: 总共有5张(粉色的)先上传至hdfs hdfs://172.16.11.222:9000/JpgSequence想要生成的sequencefile 的位置:"hdfs://172.16.11.222:9000/Sequence/bb.txt";具体步骤和解释全在代码里面标注《看完请评价》:直接上代原创 2017-07-25 16:27:40 · 1460 阅读 · 0 评论 -
squirrel hbase Phonenix 三者集成
②需要点击“Drivers”,将phoenix的驱动添加进去。③点击左上角 蓝色的 “ + ” 加号,添加按上面的顺序,依次填写。第一步,Name:随便写个名字,标记连接;第二步,Example URL:相当于mysql的jdbc连接串,这里的alias写zookeeper的主机名称,端口号,可以写,可以不写,我一般不写;第三步,选择Phoeni转载 2017-08-11 10:56:29 · 437 阅读 · 0 评论 -
hive (2.01)读取 json 格式 的处理方式 2018-4-24
测试json 数据 格式 样例:{"data":{"dt":"2018-12-13","hu":"17:17:17"},"web":{"web":"maitianzaixian.com.cn","whichfor":"computer"},"house":{"home":"yuanyangguoji","areo":400,"price":3400,"num":"10#102"}}原创 2018-04-24 10:13:13 · 569 阅读 · 0 评论