- 博客(14)
- 收藏
- 关注
RSS订阅原创 hive中文字段乱码问题
建表有中文字段，有乱码，因为元数据的columns_v2表默认用的是latin1编码，有中文字段时需要对它进行修改进入mysql中，执行alter table columns_v2 modify column COLUMN_NAME varchar(128) character set utf8;注释乱码一起解决了1、然后进入数据库执行以下5条SQL语句：(1)
2017-01-10 15:06:22
3327
原创 spark的standalone集群搭建
解压spark-1.4.1-bin-hadoop2.6.tgz，解压后的文件mv为spark不配置环境变量了，因为它的启动命令start-all.sh与Hadoop相同在spark/conf目录下，把spark-env.sh.template重命名为spark-env.sh，增加配置项export JAVA_HOME=/usr/local/jdkSPARK_MASTER_IP=ma
2016-10-31 10:07:09
219
原创 storm集群搭建
以来zk，所以要先搭建启动zk集群解压apache-storm-0.9.3.tar.gz，把解压后的文件mv成storm配置/etc/profile环境变量,source一下改storm/conf中的配置文件storm.yaml，注意空格的问题storm.zookeeper.servers: - "master" - "slave1" - "s
2016-10-31 09:56:39
166
原创 换yum源
把虚拟机调成桥接模式，ip设为动态获取换的是阿里的yumwget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repoyum makecachecentos的telnet服务不可用，要自己装详细见连接http://jingyan.baidu.com/arti
2016-07-04 16:08:57
246
原创 hbase分布式集群搭建
它是hadoop的数据库，表的、列的一些重要信息存放在zookeeper上，所以要先搭建hadoop和zookeeper把hbase路径加入环境变量中解压tar包改配置文件hbase-env.shexport JAVA_HOME=/usr/local/jdkhbase-site.xml hbase.rootdir
2016-07-01 19:27:00
224
原创 sqoop安装
sqoop是通过mapereduce将hadoop和关系型数据库相互转化的数据转换工具，准备：jdk安装：hadoop集群搭建：mysql安装：下载sqoop tar包，加压，配置环境变量把/sqoop/conf下的sqoop-env-template.sh重命名为sqoop-env.sh，sqoop-site-template.xml重命名为sqoop-site.xml修改sqoo
2016-06-21 17:16:53
279
原创 kafka搭建
准备：3台虚拟机，配置好zookeeper集群：下载kafka的tar包，解压：配置环境变量进入config中的server.properties改配置文件broker.id=1 //broker的标识，id不能重复log.dirs=/usr/local/kafka/kafka-logs //日志目录num.partitions=1 //分区数目
2016-06-21 15:09:12
319
原创 zookeeper集群搭建
准备3台虚拟机，hosts文件中的映射要配好下载tar包，可以在外面改好后将解压修改后的文件夹放进/usr/local目录修改配置文件zoo.cfgdataDir=/usr/local/zookeeper/datadataLogDir=/usr/local/zookeeper/logserver.1=master:2888:3888server.2=slave1:2888:
2016-06-18 11:48:44
173
原创 hive搭建
hive是依赖于hadoop的数据仓库的工具，sql语句转换成mapreduce进行计算，存储在hdfs上搭建hive前期准备配置jdk环境，hadoop环境，下载hive包解压，配置hive环境变量，安装mysql修改hive配置文件将hive-default.xml.template文件cp一份为hive-site.xml 修改hive-site.xml
2016-06-18 08:46:16
826
原创 hadoop集群搭建
环境:linux虚拟机3台centos，jdk1.8,hadoop2.6.0前期准备1.配置虚拟机环境验证：互相ping IP2.配置jdk环境变量验证：java -version3.ssh免密码，机器之间的ssh用命令 ssh-copy-id 主机名验证：ssh localhost4.下载解压缩hadoop，配置hadoop环境变量进入/hadoop/et
2016-06-17 22:42:51
387
原创 storm
遇到的问题maven缺少依赖，下不了jar包在网上找了篇博客修改 Maven 的配置文件（安装目录下的 conf/settings.xml 文件），将 .. 间的内容改为: repository. The repository that | this mirror serves has an ID that matches the
2016-05-05 15:28:43
188
原创 工厂模式
工厂方法模式是创建型模式，定义一个创建产品对象的工厂接口，将实际的创建工作推到子类当中完成，只负责具体工厂子类必须实现的接口，这样就可以让系统在不修改具体工厂角色的情况下引进新的产品 写了一个非常简单的加法计算器，模拟工厂模式的实例 有一个抽象类，抽象方法是计算2数相加之和 public abstract class Operation {
2014-12-21 14:58:19
187
原创 Lucene的学习
今天才开始学Lucene,这也是很久前就想学然后一直滞留没学的东西,压力真的是个好东西,能让人不断前行的动力. Lucene即全文检索,它是为每一个进检索器的对象构建索引,这就有区分数据库直接用%%检索,我目前的公司有项搜索组织,部门,人员的功能,用的就是sql语句去模糊查询,因为是个内部系统,因此这种方法倒也够用.但是不能应付成千上万的数据,运行效率会极低的,况且执行还是调用的
2014-11-29 09:25:19
388
原创 三大框架整合
随着ctrl+v,ctrl+z用的越来越多,脑子也越来越钝化了,解决问题的能力也日渐下滑,因为近几天的小挫折,让我意识到自己严重的问题,以前虽然不聪明,但是还能剩下勤奋,现在唯一的有点也要随之渐行渐远了,强大的危机意识逐渐复苏,今天就从最开始的三大框架开始整起吧. 1.导包(spring3.0.2+hibernate3+struts2 2.3.3 包就不贴了,要培养下载合适的包的
2014-11-27 21:26:54
462
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人