2018年04月_FunySunny

转载 CentOS7重置root密码

CentOS 7与之前的版本6变化还是比较大的，以进入单用户模式修改root密码为例。1.重启开机按esc2.按e3.编辑修改两处：ro改为rw,在LANG=en_US.UFT-8后面添加init=/bin/sh4.按Ctrl+X重启，并修改密码5.由于selinux开启着的需要执行以下命令更新系统信息,否则重启之后密码未生效touch /.autorelabel6.重启系统exec /sbin/...

2018-04-27 14:12:54 8379

转载 SparkStreamingj集成Kafka的几个重要参数

在做kafka流处理过程中，第一次启动时数据量非常大，导致程序崩溃，看了这篇博文后进行优化后程序正常执行特别感谢原创作者的奉献：https://blog.csdn.net/u010454030/article/details/54629049使用SparkStreaming集成kafka时有几个比较重要的参数：（1）spark.streaming.stopGracefullyOnShutdown ...

2018-04-26 14:52:10 392

转载 SparkKafka问题总结

大家都知道在spark1.3版本后，kafkautil里面提供了两个创建dstream的方法，一个是老版本中有的createStream方法，还有一个是后面新加的createDirectStream方法。关于这两个方法的优缺点，官方已经说的很详细(http://spark.apache.org/docs/latest/streaming-kafka-integration.html)，总之就是cr...

2018-04-25 17:30:59 760

原创 elastic search6聚合操作keyword

在mapping index为true的情况下，该字段会默认对内容进行分词若进行agg操作则会出现下面情况：命令：GET /data/http_record/_search{ "aggs": { "ua": { "terms": { "field": "user_agent" } } }}结果："aggregations": {

2018-04-18 16:50:28 4003

原创 ElasticSearch6 kibana查询

1、直接查询GET /data/http_record/_search/ { "query": { "term": {"host":"www.mogujie.com"} },//查询host为www.mogujie.com的数据 "_source": ["url", "host"]//source部分只显示url与host}2、全文检索GET /data/

2018-04-18 16:20:39 462

原创 ES 聚合操作保存（Fielddata is disabled on text fields by default.）

根据es官网的文档执行GET /megacorp/employee/_search{ "aggs": { "all_interests": { "terms": { "field": "interests" } } }}123456789这个例子时，报错{ "error": { "root_cause": [

2018-04-18 08:59:08 319

转载 supervisor管理tomcat

使用 supervisord 监控管理的进程必须以 nodaemon 启动，而 tomcat 的 startup.sh 脚本是daemon方式的，如果不做修改的话，supervisord 会一直报错。办法是：一. 在 startup.sh 的最后的exec "$PRGDIR"/"$EXECUTABLE" start "$@" 改为 exec "$PRGDIR"/"$EXEC...

2018-04-13 23:05:03 2587

转载 MySQLdump常用命令

MySQLdump常用命令MySQLdump常用mysqldump -u root -p --databases 数据库1 数据库2 > xxx.sql还原：系统命令行： MySQL -uroot -p123456 <f:\all.sql常见选项：--all-databases, -A：备份所有数据库--databases, -B：用于备份多个数据库，如果没有该选项，mysqldu...

2018-04-13 22:20:59 162

转载 Spark-Kafka kafka.common.OffsetOutOfRangeException

问题描述国庆前启动spark streaming任务去消费了kafka，后来由于其他原因停止了，放假回来后，重启spark任务后，报kafka.common.OffsetOutOfRangeException，期初我以为是ZK重启造成的就换了个group.id正常了，今天看到一篇文章才知道真实的原因kafka会定时清理日志当我们的任务开始的时候，如果之前消费过某个topic，那么这个topic会在...

2018-04-13 08:41:08 5593

转载 Atomic包介绍

Atomic包介绍 Java1.5的Atomic包名为java.util.concurrent.atomic。这个包提供了一系列原子类。这些类可以保证多线程环境下，当某个线程在执行atomic的方法时，不会被其他线程打断，而别的线程就像自旋锁一样，一直等到该方法执行完成，才由JVM从等待队列中选择一个线程执行。Atomic类在软件层面上是非阻塞的，它的原子性其实是在硬件层面上借助相关的...

2018-04-06 21:40:53 907

原创 JMM内存模型

多任务和高并发的内存交互多任务和高并发是衡量一台计算机处理器的能力重要指标之一。一般衡量一个服务器性能的高低好坏，使用每秒事务处理数（Transactions Per Second，TPS）这个指标比较能说明问题，它代表着一秒内服务器平均能响应的请求数，而TPS值与程序的并发能力有着非常密切的关系。物理机的并发问题与虚拟机中的情况有很多相似之处，物理机对并发的处理方案对于虚拟机的实现也有相当大的参...

2018-04-06 21:33:26 681

原创 Spark集群环境搭建

1、下载spark地址为:http://spark.apache.org/downloads.htmlnloads.html，因为我使用MongoDB作为存储，所以根据spark-mongo版本进行选择版本为：spark-2.2.0-bin-hadoop2.6.tgz2、服务器环境设置：配置集群之间免密登录，具体配置方式见另外博客，并设置主机host（设置完主机host后需要重启服务器生效）3、解...

2018-04-03 15:38:04 221

转载服务器免密设置登录(hadoop,spark)

对于需要远程管理其它机器，一般使用远程桌面或者telnet。linux一般只能是telnet。但是telnet的缺点是通信不加密，存在不安全因素，只适合内网访问。为解决这个问题，推出了通信加密通信协议，即SSH（Secure Shell）。使用非对称加密方式，传输内容使用rsa或者dsa加密，可以避免网络窃听。hadoop的进程之间同信使用ssh方式，需要每次都要输入密码。为了实现自动化操作，需要...

2018-04-02 14:58:37 957 1

混沌初开