- 博客(35)
- 收藏
- 关注
RSS订阅原创 Linux搭建Azkaban3.X
Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。由多个组件组成，其中最基础有三部分，分别为db、web-server、exec-server。准备安装JDK将文件拷贝到任意目录，解压；在/usr目录下创建java目录，然后将jdk文件夹移动到java目录tar -zxvf jdk-8u144-linux-x64
2020-09-10 17:15:30
358
原创 Linux搭建Kafka集群
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。####一.下载JDK8，点击进入下载Kafka2.4.0，新特性MirrorMaker 2.0，[KAFKA-8634] - Update ZooKeeper to 3.5.5ZooKeeper3.5.5，下载带-bin的apache-zookeeper-3.5.5-bin.tar.gz####二.安装2.1 修改
2020-09-03 17:18:31
381
原创 Flume收集数据直接入Solr
一.背景在CDH平台上，为了实现NRT(near real-time)近实时搜索，flume收集的数据入solr，solr提供对外查询。在flume收集到数据后(例如测试机器名称dn12.hadoop)，需要使用Morphline实现数据的ETL，才能转换成solr的数据格式，所以配置分为三步。二.solr配置创建collection或更新solrctl instancedir --generate
2017-05-24 09:57:40
2316
原创 linux ssh免密码登录
从机器machineA登陆到机器machineB，需要免密码。只要在A机器上生成秘钥对，将公钥追加到B机器上的授权文件authorized_keys上即可，分两步：1.创建秘钥对进入machineA的文件夹/root/.ssh/,用rsa生成秘钥[root@machineA .ssh]# ssh-keygen -t rsaGenerating public/private rs...
2017-02-15 17:02:59
1012
转载 代码注释：佛祖开光 永无bug
//// _oo0oo_// o8888888o// 88" . "88// (| -_- |)// 0\ = /0// ___/`--
2017-01-23 09:12:44
6801
转载 hive 的条件判断（if、coalesce、case）
CONDITIONAL FUNCTIONS IN HIVEHive supports three types of conditional functions. These functions are listed below:IF( Test Condition, True Value, False Value )The IF condition evaluates the “Test Condi
2016-12-02 10:12:58
27546
1
转载 Hive 0.11 元数据表汇总
微信小程序实战项目——点餐系统 程序员11月书讯，评论得书啦 Get IT技能知识库，50个领域一键直达关闭Hive 元数据解析标签： hivemetastore元数据hadoopbigdata2013-11-06 10:20 3029人阅读 评论(1)收藏举报本
2016-11-29 11:23:32
784
原创 hbase基于solr配置二级索引
一.概述Hbase适用于大表的存储，通过单一的RowKey查询虽然能快速查询，但是对于复杂查询，尤其分页、查询总数等，实现方案浪费计算资源，所以可以针对hbase数据创建二级索引(Hbase Secondary Indexing)，供复杂查询使用。Solr是一个高性能，采用Java5开发，基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配
2016-10-24 14:47:41
8583
4
原创 linux下搭建SolrCound集群及测试(solr5.5.1+zookeeper3.4.8)
说明：solr已内置jetty服务，默认端口8983，可以很方便的在web端操作,不用安装tomcat。安装完成后，建议使用谷歌浏览器访问，有的浏览器可能会报错。开放zk要用到的端口或关闭防火墙solr自带zk，一般不使用，而是自定义安装一.环境准备Linux 至少三台(此处使用192.168.60.35、38、41)jdk1.7.0_79(版本要尽量高),点击下载zookeeper
2016-10-18 14:54:40
3847
3
原创 nginx日志按天生成&定期删除日志
nginx日志按天生成&定期删除日志问题：nginx会按照nginx.conf的配置生成access.log和error.log，随着访问量的增长，日志文件会越来越大，既会影响访问的速度(写入日志时间延长)，也会增加查找日志的难度，nginx没有这种按天或更细粒度生成日志的机制。所以下面介绍两种方法：1.写脚本，通过定时任务按天重命名日志、重启nginx的方法实现（有重启失败的风险）2.通过工具cr
2016-10-01 08:17:29
20464
2
原创 【无标题】测试
1.省份简称JS,江苏HE,河北FJ,福建BJ,北京SH,上海SD,山东SC,四川HB,湖北SN,陕西SX,山西HA,河南JL,吉林NM,内蒙古YN,云南JX,江西HN,湖南GX,广西NX,宁夏GD,广东ZJ,浙江CQ,重庆LN,辽宁AH,安徽TJ,天津HL,黑龙江GZ,贵州HI,海南XZ,西藏GS,甘肃QH,青海XJ,新疆
2016-09-28 10:13:14
602
原创 Windows下开机自启动Tomcat7
问题:tomcat7解压版,通过startup.bat手动启动tomcat后会出现对话框，如果机器意外重启，tomcat还需要手动重启，比较麻烦。解决:将tomcat安装成系统服务,设置启动方式为自启动。1.安装tomcat服务进入tomcat的bin目录下，运行service.bat install安装E:\tomcat_8083\bin>service.bat installInstallin
2016-08-11 10:32:08
14593
原创 linux下mysql5.7.12忘记密码
一.碰到问题问题：mac上安装的mysql5.7.12，长时间不用，忘记密码，navicat连接时提示： Access denied for user ‘root’@’localhost’ (using password: YES)解决：重置密码二.重置密码详情:2.1关闭mysql服务mac下可在系统偏好设置中关闭或在终端中使用kill强制关闭,进入root用户xiaoxiangdeMacBoo
2016-08-09 12:58:20
2962
原创 Linux安装配置Redis
Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API.这里使用目的:需求是实时匹配一个号码所属地区，且并发量发。那就需要将号码段对应的地区编码表存储到redis,大概30W条，如果实时连接数据库不实际。一.下载官网下载，可自选版本，点击进入下载，这里下载了redis-3.0.7二.编译2.1执行make编译redis
2016-08-09 11:58:54
5382
1
原创 根据wsdl生成客户端：Use of SOAP Encoding is not supported
一.生成方式选择接收到服务端第三方给的wsdl文件，需要在本地生成客户端调用。调用或生成客户端的方式有很多种，可能你会使用eclipse上的插件、IDEA上的插件、使用xfire简单的调用方式等，会碰到各种问题，就是生成不了。其实选择哪种方式，要根据wsdl定义stype和use的方式。stype描述了服务调用方式：rpc或document，use定义了类型：encoded或literal二.wsd
2016-08-07 12:14:25
10511
原创 Linux命令备忘记录
1. 查看Linux操作系统1.1 查看系统版本uname -r或cat /etc/centos-release[root@VM-1cea2157-6e12-406a-8268-45bcfb166a17 ~]# uname -r2.6.32-431.11.2.el6.x86_64[root@VM-1cea2157-6e12-406a-8268-45bcfb166a17 ~]# cat /etc/
2016-08-01 14:36:45
581
原创 linux安装maven
一.安装1.1 官网下载地址：http://maven.apache.org/download.cgi，这里下载最新版apache-maven-3.3.9-bin.tar.gz1.2 安装前需要安装JDK1.7或更新版本，这里已安装JDK1.8[root@besttone-003-0001 ~]# java -version java version "1.8.0_91" Java(TM)
2016-07-29 15:45:43
290
1
原创 重新编译、安装spark assembly，使CDH5.5.1支持sparkSQL
重新编译、安装spark assembly，使CDH5.5.1支持sparkSQLCDH内嵌spark版本不支持spark-sql，sparkR,如果要使用，需要将hive的相关依赖包打进spark assembly jar中，下面就是针对spark-sql的编译、安装步骤一.在任意一台linux机器上准备编译环境spark-1.5.0.tgz 下载地址: https://spark.apache
2016-07-27 16:32:13
4521
原创 hadoop——压缩和本地库
1. 压缩hadoop中为什么使用压缩，因为压缩既减少了占用磁盘的空间又加快了文件的传输速度。 hadoop中常用到的压缩格式有lzo，lz4，gzip，snappy，bzip2，关于这几种压缩格式的比 较可参看: http://www.linuxidc.com/Linux/2014-05/101230.htm实际使用案例：按小时收集服务器日志，并且清洗数据后输出。解决方案：因为日志格式是文本
2016-07-12 15:38:33
2153
原创 3台机器配置hadoop2.6.4集群
一.3台机器配置hadoop集群192.168.80.39 hmaster192.168.80.40 hslave1192.168.80.56 hslave2 1. 分别设置主机名(重启后生效)：vi /etc/sysconfig/network、hosts解析文件：vi /etc/hosts 2.安装JDK，并设置环境变量(此处略过)
2016-06-11 23:17:01
2329
1
原创 hadoop配置ssh免秘钥登录
问题：单机安装hadoop后，进行启动停止服务等操作时，需要多次输入本地密码，比较麻烦，需要配置ssh无密码登录。问题详细描述：例如下图中关闭hadoop时候，需要输入4此本地密码。解决方法：只要使用rsa生成秘钥即可。执行命令：ssh-keygen -t rsa,一路回车以上！
2016-06-08 10:12:36
2105
1
原创 单机安装hadoop2.6.4
一.单机安装hadoop2.6.4做测试使用，分为以下几步配置ip、主机名安装JDK，并设置环境变量(此处跳过)下载hadoop，并设置hadoop环境变量修改4个配置文件格式化hdfs启动hadoop查看hadoop运行情况二.具体安装步骤和注意详情配置ip、主机名 a)设置主机名(重启后生效),命令: vi /etc/sysconfig/network
2016-06-07 13:43:19
2199
原创 mac mysql重置忘记密码
背景：mysql安装时间太长，忘记密码了，需要重置 第一步：在苹果->系统偏好设置中关闭mysql服务 第二步：进入终端输入：cd /usr/local/mysql/bin/回车后 登录管理员权限 sudo su(会提示出入本机密码)回车后输入以下命令来禁止mysql验证功能 ./mysqld_safe --skip-g
2016-05-30 16:21:22
471
原创 mac myeclipse2015安装SVN插件
方法一:在线安装，在此忽略,我安装插件从来没现在安装成功过。方法二：link方式(非常简单)1、从官网subclipse.tigris.org下载site-1.6.10.zip文件；2、从中解压出features与 plugins文件夹，复制到/Applications/MyEclipse 2015/MyEclipse 2015.app/Contents/Profile
2016-05-30 14:52:12
3074
原创 使用Nexus搭建Maven仓库
1.目的通过建立自己的私服，可以降低中央仓库负荷、节省外网宽带、加速maven构建、自己部署构件等，从而高效的使用maven，nexus是当前流行的Maven仓库管理软件。2.下载nexus2.1 网址：http://www.sonatype.org/nexus/,我选择zip包下载 2.2 解压到E盘，选择进入所在机器的版本进入，我选择：E:\nexus-2.12.1-01-bundle\n
2016-04-12 14:14:31
3566
原创 Linux环境安装FTP服务Serv-U
需求：在Linux环境上安装FTP服务端Serv-U解决步骤：1.下载Serv-U的linux 64bit的安装文件wget http://www.rhinosoft.com.cn/download/14.0.1.0/SU-MFTS-Linux-64bit.zip2.解压安装文件 unzip SU-MFTS-Linux-64bit.zip 3.对安装文件赋予最高权限(
2016-02-17 09:35:52
8370
2
原创 Navicat设定mysql定时任务
有个需求：将一张表的前一天的数据抽取到另一张表中，使用Mysql数据库的客户端Navicat配置第一步，创建过程cust_report,直接在查询窗口中执行，保存后函数列表中就会出现。第二步，新建事件，配置调用过程名称、执行频率和开始时间等第二天就可以查看该事件的运行情况啦提醒：查看event是否开启show variable
2016-01-28 13:33:47
5427
原创 Tomcat中查看JVM内存使用情况
TOMCAT运行时，实时监控当前应用JVM的使用情况；可以利用Tomcat自带的应用manager查看详情。首先，需要创建角色manager和对应的用户，修改/conf/tomcat-users.xml 其次，浏览器输入网址:http://IP:port/manager/status 帐号/密码:admin/admin登录
2016-01-14 16:50:16
20780
原创 Linux安装JDK和Tomcat
下载linux版本的JDK和Tomcat解压、安装JDK1. 将文件拷贝到任意目录，解压命令:tar -xvzf jdk-7u25-linux-x64.tar.gz，假设jdk想存放位置：/usr/java/jdk1.7.0_45，则在/usr目录下创建java目录，然后将jdk文件夹移动到java目录下：mv jdk1.7.0_45/ /usr/java
2016-01-14 16:01:59
95
转载 MySQL 自动断开连接的问题
在MySQL数据库中，如果一个连接8小时没有请求和操作，就会自动断开，从而导致一些基于数据库连接的应用程序，特别是 WEB 应用程序出错。 有三个方法可以解决这个问题： 1：修改MySQL配置参数 2：修改JDBC 3：修改第三方的数据库连接池应用 Proxool.xml 方法一：这个参数的名称是 wait_timeout，其默认值为 28800秒（8小时）。其意义为关闭一
2015-12-07 09:49:42
1392
转载 [Nginx] nginx提示：500 Internal Server Error错误的解决方法
现在越来越多的站点开始用 Nginx ,("engine x") 是一个高性能的 HTTP 和反向代理服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，它已经在该站点运行超过两年半了。Igor 将源代码以类BSD许可证的形式发布。 在高并发连接的情况下，Nginx是Apache
2015-11-24 15:51:14
33525
1
原创 nginx日志access.log error.log按天生成存储,定时删除日志
问题：nginx会按照nginx.conf的配置生成access.log和error.log，随着访问量的增长，日志文件会越来越大，既会影响访问的速度(写入日志时间延长)，也会增加查找日志的难度，nginx没有这种按天或更细粒度生成日志的机制，所以需要自己添加定时任务，分割日志文件。1.新建分割日志文件的脚本，例如存放路径：/usr/local/nginx/sbin/cut_nginx_log
2015-11-24 15:30:52
16144
1
原创 linux 获取经过N层Nginx转发的访问来源真实IP
通常系统出于安全考虑，需要进行权限(账号、密码)和IP白名单控制。如何获取访问来源真实的IP，如果公司网络入口设置负载，自己系统设置nginx代理等操作，会使你达到目的不那么简单直接。通常情况下我们使用request.getRemoteAddr()就可以获取到客户端ip，但是当我们使用了nginx作为反向代理后，由于在客户端和web服务器之间增加了中间层，因此web服务器无法直接拿到客户端的i
2015-11-07 15:39:03
19679
原创 jfinal 在linux下报applicationContext.xml找不到
JFinal默认加载spring配置文件applicationContext.xml的路径是项目下的/WEB-INF/下，在windows操作系统下运行正常，部署在Linux系统下报错，如下提示信息(找不到spring的配置文件)：[INFO ][localhost-startStop-1] 2015-10-27 18:35:05.219 - AbstractApplicationContex
2015-10-29 12:09:43
1905
转载 linux上安装nginx简单几步
nginx下载地址：http://nginx.org/download/，我选择一个1.6.0版本nginx-1.6.0.tar.gz建议所有操作要在管理员权限下操作，安装目录在/usr/local下，安装在其他目录可能找不到sbin文件夹。步骤： # wget http://nginx.org/download/nginx-1.6.0.tar.gz 下载# tar -zxv
2015-10-08 13:22:06
565
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人