- 博客(32)
- 收藏
- 关注
RSS订阅原创 redis
安装启动带配置启动验证安装tar -zxvf redis-3.2.5cd redis-3.2.5makemake installmake test如果碰到安装问题yum install gcc -ymake test碰到tcl问题yum install tcl -y启动cd /usr/local/bin./redis-server带配置启动修改配置文件启用后台进程daemonize
2016-11-15 11:41:36
376
原创 Hbase 批量删除
hbase定期批量删除 /** * 删除一段时间的表记录 * * @param c * @param minTime * @param maxTime */ public static void deleteTimeRange(String tableName, Long minTime, Long maxTime) {
2016-11-15 09:23:07
4922
原创 spark hbase
package com.xmgps.yfzx.sparkhbaseimport org.apache.hadoop.hbase.{HBaseConfiguration, TableName}import org.apache.hadoop.hbase.client.{ConnectionFactory, HTable, Put, Result}import org.apache.hadoop.h
2016-11-10 17:00:51
441
原创 spark sql dataframe操作
package com.xmgps.yfzx.sparkhadoopimport com.xmgps.yfzx.sparkhadoop.TraceData.Traceimport org.apache.spark.sql.SQLContextimport org.apache.spark.{SparkConf, SparkContext}object SparkHadoopFileDF {
2016-11-10 16:59:48
432
原创 Ambari file view无权限问题
最简单粗暴的方法dfs.permissions.enabled 中的true 改为false另外一个方法hadoop.proxyuser.root.hosts *hadoop.proxyuser.root.groups *
2016-11-01 09:08:54
1292
原创 SpringBoot--rabbimq Consumer
两种方法：方法一：定义listenerContainer来接收private Logger logger = LoggerFactory.getLogger(AmqpConfig.class); public static final String EXCHANGE = "XMGA-GPS-Exchange"; public static final String R
2016-10-20 16:01:28
244
原创 SpringBoot--rabbitMq Producer
applicaiton.yml写入配置spring: rabbitmq: host: ip地址 port: 5672 username: root password: root virtual-host: /定义bean@Autowiredprivate RabbitMessagingTemplate rabbitMessagi
2016-10-20 15:56:12
367
原创 spark-sql初体验
package com.xmgps.sparksqlimport java.util.Dateimport java.util.concurrent.TimeUnitimport com.xmgps.util.XDateimport org.apache.hadoop.conf.Configurationimport org.apache.hadoop.fs.{File
2016-10-20 14:52:43
268
转载 一篇hadoop优化文章
1. 增大文件描述符nofile（查看当前的lsof |wc -l） 和 用户最大进程nproca. 调整Linux的最大文件打开数:>> vim /etc/security/limits.conf* soft nofile 65535* hard nofile 65535* soft nproc 65535* hard nproc 65535b. RHEL6下引入了配
2016-10-10 09:46:05
309
原创 hadoop优化：文件系统设置noatime
相信对性能、优化这些关键字有兴趣的朋友都知道在 Linux 下面挂载文件系统的时候设置 noatime 可以显著提高文件系统的性能。默认情况下，Linux ext2/ext3 文件系统在文件被访问、创建、修改等的时候记录下了文件的一些时间戳，比如：文件创建时间、最近一次修改时间和最近一次访问时间。因为系统运行的时候要访问大量文件，如果能减少一些动作（比如减少时间戳的记录次数等）将会显著提高磁盘 I
2016-10-10 09:25:01
453
原创 hadoop优化：修改linux swap空间的swappiness,降低对硬盘的缓存
linux 会使用硬盘的一部分做为SWAP分区，用来进行进程调度--进程是正在运行的程序--把当前不用的进程调成‘等待（standby）‘，甚至‘睡眠 （sleep）’，一旦要用，再调成‘活动（active）’，睡眠的进程就躺到SWAP分区睡大觉，把内存空出来让给‘活动’的进程。 如果内存够大，应当告诉 linux 不必太多的使用 SWAP 分区， 可以通过修改 swappiness 的数值
2016-10-10 09:09:54
3378
原创 hadoop优化：增大文件句柄
在linux服务器大并发调优时，往往需要预先调优linux参数，其中修改linux最大文件句柄数是最常修改的参数之一。在linux中执行ulimit -a 即可查询linux相关的参数，如下所示：[root@mongodb11 ~]# ulimit -acore file size (blocks, -c) 0data seg size
2016-10-10 09:06:08
1450
原创 maven添加外部yi'la
dependency> groupId>org.apache.sparkgroupId> artifactId>spark-core_2.10artifactId> version>1.6.1.2.4.2.0-258version> scope>systemscope> systemPath>${basedir}\src\lib\spark-assembly
2016-10-09 11:18:28
236
原创 指定maven-jar-plugin
在IDEA上，用maven打包的时候，报错：[INFO] [INFO] --- maven-jar-plugin:2.3.2:jar (default-jar) @ spark ---[WARNING] The POM for org.codehaus.plexus:plexus-utils:jar:3.0 is invalid, transitive dependencies (if
2016-10-09 11:13:48
2646
1
原创 namenode Number of Under-Replicated Blocks
代表你的hadoop hdfs已经不健康了，一般是由于副本数不匹配导致。可以执行hdfs fsck /找到异常的块，具体参数根据自己的副本数来定执行hdfs dfs -setrep -R 2 path也可以直接删除，如果你觉得这个块没有用的话！
2016-09-30 15:57:02
1264
原创 ambari搭建spark
ambari搭建spark应该默认是local，但我希望也是一个集群环境，在ambari server上辗转了一圈，没能找到配置项。ambari spark history:要做成集群环境，我是去改本地的配置：spark-env.shSPARK_MASTER_IP=rm.hadoopSPARK_LOCAL_DIRS=/usr/hdp/2.
2016-09-29 10:27:14
3284
转载 springBoot--mybatis
最近项目原因可能会继续开始使用MyBatis，已经习惯于spring-data的风格，再回头看xml的映射配置总觉得不是特别舒服，接口定义与映射离散在不同文件中，使得阅读起来并不是特别方便。Spring中整合MyBatis就不多说了，最近大量使用Spring Boot，因此整理一下Spring Boot中整合MyBatis的步骤。搜了一下Spring Boot整合MyBatis的文章，方法
2016-09-27 16:29:42
166
原创 spring-hadoop wordcount run on yarn
之前我以为是要在IDEA配置一个hadoop路径，其实不用，只要增加一些配置就好了。mapred-site.xmlproperty> name>mapred.remote.osname> value>Linuxvalue> description>Remote MapReduce framework's OS, can be either Linux or Wi
2016-09-27 15:12:43
383
原创 springhadoop mapreduce wordcount
<beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:hdp="http://www.springframework.org/schema/hadoop" xsi:sc
2016-09-22 17:37:25
608
原创 spring hadoop fsshell
一个简单的例子：连接hadoop，列出文件class HdpShell implements CommandLineRunner{ private Logger logger = LoggerFactory.getLogger(HdpShell.class); @Autowired private FsShell shell; @Overri
2016-09-22 17:09:15
903
转载 Name Node instability : flush failed for required journal
https://community.hortonworks.com/questions/38523/name-node-instability-flush-failed-for-required-jo.html可能引起的timeout原因These log messages indicate that there was a timeout condition when the
2016-09-22 08:54:40
427
转载 ambari相关参考文献
参考文献：[1] Ambari服务配置以及Alert详解：http://www.ibm.com/developerworks/cn/opensource/os-cn-bigdata-ambari3/index.html?ca=drs-&utm_source=tuicool&utm_medium=referral[2] Ambari Quick Start Guide：https:/
2016-09-13 16:12:35
532
原创 ambari环境搭建记录要点
前置条件：1.etc/hosts配置满足规范：如：192.168.0.0nn1.hadoop nn12.免密登陆已经配置完成3.语言环境必须是英文！注意：这个很重要，之前因为语言环境是中文，一直卡在第二步的安装上面~查看方法：修改语言为英文：localectl set-locale LANG=en_US.UTF-8安装步骤：1.安装远程库地址
2016-09-12 17:49:28
221
转载 hbase分页查询思路
从所周知，hbase通过scan来扫描表，通过startKey，stopKey来确定范围，hbase官方提供了一个PageFilter来支持一次scan可以返回多少条数据即每页的行数。假如一页是10条，这样是第一页还好，但是第二页呢，如果不改变PageFilter的pageSize，那返回的还是第一页的数据，如果改变pageSize为20，则返回了第一页10多余的数据，在客户端要过滤掉，性能不好。
2016-09-12 10:36:22
763
原创 SpringBoot学习记录5------logback
${LOG_HOME}/${LOG_NAME}-info.log ${LOG_HOME}/${LOG_NAME}-info-%d{yyyyMMdd}.log.%i 100MB 7
2016-09-12 09:04:20
322
原创 kafka常用简单命令记录
查看所有topicbin/kafka-topics.sh --list -zookeeper dn1:2181监控group的消费进度offsetbin/kafka-consumer-groups.sh --new-consumer --describe --group GPSBUS --bootstrap-server localhost:9092创建一个to
2016-09-12 08:48:15
371
原创 SpringBoot学习记录3------外部配置文件yml
先看一个最简单的例子：person: name: LJK age: 18@ConfigurationProperties(prefix = "person")@Componentpublic class MyConfig { private String name; private int age; public String get
2016-09-09 15:59:43
350
原创 SpringBoot学习记录1------启动
maven工程，pom文件：<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 htt
2016-09-09 11:37:01
182
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人