- 博客(79)
- 资源 (72)
- 收藏
- 关注
RSS订阅原创 nginx安装配置记录
文章出处：http://blog.csdn.net/lili72环境cenos5.9 安装在192.168.119.131上进行.安装路径统一为/home/bigdata/ 1 安装之前需要先安装： 1.1 openssl 1.1.1 下载 ,cd /home/bigdata/ wget http://www.openssl.org/source/openssl-
2015-01-31 21:43:57
7212
1
原创 SecureCRTP配置几个小技巧
原文来自：http://blog.csdn.net/lili72 lili72背景：由于在lunix上操作，最常用的是secureCRT，现在把这个工具，基本常用方式记录一下。 一： 设置直接跳到跳板机，不要再次ssh 登陆。A--B-->C 不用跳2次到达目的机，一次直接到达。1 2 3456 7 8 二：设置编辑器
2015-01-27 22:20:16
2987
原创 hive客户端升级及添加hadoop超级权限
文章来自：http://blog.csdn.net/lili72背景： 旧版本的hive 在用的过程中，经常出现一些bug，无法解决，比如无法找到表们无法找到分区等。由于并发比较大，常见如下异常：com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'hive.DELETEME1414791576856' do
2015-01-25 23:08:55
2767
原创 周平均月平均设计
http://blog.csdn.net/lili72背景： 有些报表除了需要每天的数据走势图，有时还需要每周的平均和每月的平均，再和上周或月作比较，计算差值，然后分别形成周平均报表和月平均报表。日报表：每天计算报表数据周报表：每周某个时间只计算一次月报表：每月每个时间只计算一次 以下设计可以作为比较通用的周月差值计算方式。考虑到查询条件的跨年，所以设计表的时候有
2015-01-19 21:34:42
2240
原创 工作中的oracle常用维护
http://blog.csdn.net/lili72背景：由于历史原因，公司部分业务还在使用oracle中。一出问题就是搞的很麻烦。由于长期使用的是mysql 和hive，Hbase等，一些oracle的命令慢慢的也是忘记了，但是公司某些在oracle上的业务，突然出现问题，每次查找问题都查得比较费劲，现把常用命令记录下来。 常遇到的oracle的问题： 1.
2015-01-15 21:34:07
1185
原创 数据平台调度系统的设计
文章出自： http://blog.csdn.net/lili72 1 能定时发起各类型的任务1.1 任务类型比如 shell脚本，或者jar 程序，或者调用存储过程1.2 可以设置每天什么时候开始执行，每天执行几次。或者每隔多久执行一次（类crontab）1.3 数据平台一般的任务类型有： 1.3.1 101任务： 检查数据源文件是否到齐（包括文件个数，或者
2015-01-02 15:05:50
3794
1
原创 storm准实时应用
1 应用背景： 需要实时统计用户的登陆数，在线人数，活跃时间，下载等指标的数据，或者清洗后移到hdfs上。 2 设计架构： 1） 客户端产生数据--- 2） kafka-生产者实时采集数据（保留7天）----- 3） storm实时消费数据，处理数据 4）把实时数据统计结果缓存到memcached 中
2014-12-29 22:33:16
4407
原创 json数据源文件解析
文章： http://blog.csdn.net/lili72背景： 分布式文件通过rsync同步到生产机。 文件数 1440=24*60 也就是一分钟生成一个文件 文件命名 0000 0001 0002 ... 2358 2359 。由于文件传过来是JSON格式，需要对文件进行解析，导入HDFS中。 过程 1 rsync同步文件到当天的日期目录，每天实时把文件
2014-12-19 22:07:09
2109
原创 etl工作中的设计问题
http://blog.csdn.net/lili72背景1 ： 随着接入数据和处理数据的增加，生产脚本也越来越多，脚本由于前期的开发人员没有做到规范管理，导致脚本很乱。解决方案： 1） 在lunix上规范目录，按平台，业务模块分目录存放。 2） 做好版本管理，提交到生产的脚本必须要commit到svn服务器。 3） lunix上的目录是反应到svn的目录映射。
2014-12-10 22:12:39
1281
原创 用户标签设计
http://blog.csdn.net/lili72背景： 需要更加符合实际的了解用户对产品的使用情况，取每天流水数据，统计分析一个时间段用户的行为特点： 用户地区属性：最近30天出现的地方，据此推测用户所在地方，用户出现最多和用户最近出现的地方。 用户偏好属性：最近30天用户使用的菜单，据此推测用户所偏好的产品，更深入知道用户的年龄层，定向向用户推送类似的产品。
2014-12-09 23:35:58
3971
原创 hadoop平台读取文件报错
背景： 生产环境有个脚本执行读取st层表数据时出现IO错误，查看表目录下的文件，都是压缩后的文件。详细信息如下：Task with the most failures(4):-----Task ID:task_201408301703_172845_m_003505URL:http://master:50030/taskdetails.jsp?jobid=j
2014-12-08 22:19:36
6198
1
原创 hadoop平台工作梳理
数据平台： 一、 hadoop平台：Hbase，hive,storm,spark 1） 部署hadoop到多台机器，调整配置参数，保证正常运行。可能出现作业挂死现象。 2） 部署hive客户端，元数据库mysql等的配置，hive客户端是不参与集群的，mysq
2014-11-15 00:04:23
3319
原创 sqoop相关整理记录
生产背景：在从mysql导入到hive中,遇到如下问题： 1） 源mysql和集群机器不在同一个网段中，导致执行导入命令，网络连接失败。 2） 某些字符导入到hive中，出现报错终止。 2.1 sqoop使用的JDBC-connector 版本太低（更换版本）。从hive导出到mysql中，遇到如下问题： 1）某些字符插入mysql，出现报错终止。 1.1
2014-11-07 21:16:42
17432
原创 数据源监控与预警
最近工作需要做一个数据源监控系统，监测每天的数据是否，按时，按量送过来，首先应为数据接入过来的时候，已经记录了相关的日志，比如文件到达时间，文件总个数，文件中总记录数，文件大小，数据日期等，现在要对这些指标进行监控并及时预警（发短信或邮件到对应的负责人），并记录到预警表中，好对预警后的异常进行跟踪处理。考虑到节假日对数据量的影响，还增加文件记录数和文件大小的同比，环比进行监测。名词解释：同
2014-10-11 21:00:33
4951
原创 hightmaps 按地图显示统计量
从extjs 到 easyui 到html5到hightchars 再到hightmaps。Exjts和easyui很相似，extjs是重量级的，easyui轻量级的，比extjs容易上手，照着demo改就可以开发了，easyui入门demo见：easyui-demo，或者到官网http://www.jeasyui.com/；会了easyui开发，上手html5界面开发也非常的快，大多类似的，到h
2014-10-09 22:43:14
24884
9
原创 etl工具，kettle实现循环
业务模型： 在关系型数据库中有张很大的表，被设计成奇偶库存储，每个库100张一模一样的表，每张表存储1000W，字段切换到下一个表。现需要同步这个数据到hive中（hdfs），循环抽取这些数据。如果是抽取增量的带上增量字段（每天增量数据存储在哪个表，奇数库还是偶数库是不知道的）。
2014-10-01 08:13:16
21833
4
原创 lunix shell 基础常用整理
1 ps -ef 显示正在运行的进程，pid 等信息 UID PID PPID C STIME TTY TIME CMDroot 1 0 0 03:45 ? 00:00:02 init [5]root 2 1 0 03:45 ? 00:00:00 [migration/0]root 3 1 0 03:45 ? 00:00:00 [ksoftirqd/0]ro
2014-08-31 22:43:24
1829
原创 hadoop2.2 新增数据节点
HostnameIPHadoop版本Hadoop功能系统hadoop2192.168.119.1312.2.0namenodejdk1.6+hadoopcentos5.9 h2slave1192.168.119
2014-08-17 14:04:53
1902
原创 vmware 克隆新机器
选择li72 点击右键------管理-----克隆完成，开启系统，用户名root 密码和以前系统一样可以通过passwd 修改密码Ip也和以前的一样 需要修改ip 主要修改以下文件 1 vi /etc/sysconfig/network-scripts/ifcfg-eth0
2014-08-17 10:57:10
1056
原创 mahou 安装实例
1 下载mahout http://mirrors.hust.edu.cn/apache/mahout/0.9/ 2 选择安装到130 机 复制到 130机的 /home/bigdata/中 解压 tar -zxvf mahout-distribution-0.9.tar.gz 改名 mv mahout-distribution-0.9.tar.gz mahout 3 设置环境变量 vi /etc/profile MAHOUT_HOME=/home/bodat
2014-08-02 21:56:14
1054
原创 storm0.9.1 集群环境安装配置
Storm安装配置三台机器 131,132,133需要安装 jdk，python,autoconf-2.64,zeromq-3.2.2,jzmq安装jdk和python不详细说。 1 安装 autoconf-2.64, 1.1 下载 http://download.chinaunix.net/download.php?id=29328&ResourceID=648
2014-07-02 23:00:20
2990
原创 Spark1.0.0 分布式环境搭建
软件版本如下：HostnameIPHadoop版本Hadoop功能系统master192.168.119.1281.1.2namenodejdk1.6+hadoop+scala2.9.3+spark1.0.0centos4.9
2014-06-22 11:22:21
3860
1
原创 db2 基础知识整理
目录一 安装数据库服务 （环境要求） 1.1 创建实例db2icrt set db2intance=db2（设置当前实例） 1.2 删除实例db2idrop 1.3 更新实例db2iupdt instance_name 1.4 查看实例 db2ilistselect * from sysibm.sysversions 查看db2版本二
2014-05-17 19:50:28
8610
原创 hive ，sqoop使用的jdbc驱动版本（mysql-connector-java-5.1.23-bin.jar）影响hive使用
2014-04-01 04:16:57,190 ERROR DataNucleus.Plugin (Log4JLogger.java:error(115)) - Bundle "org.eclipse.jdt.core" requires "org.eclipse.core.resources" but it cannot be resolved.2014-04-01 04:16:57,190
2014-05-17 19:47:06
7317
原创 hadoop example
package com.li72.hadoop;import java.io.File;import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import
2014-04-22 21:48:09
1400
转载 银行大数据
随着银行业务的载体与社交媒体、电子商务的融合越来越紧密，仅对原有15%的结构化数据进行分析已经不能满足发展的需求。企业需要借助大数据战略打破数据 边界，囊括85%的大数据分析，来构建更为全面的企业运营全景视图。以科技引领业务发展，未来银行也同样需要借助由大数据构建的企业经营全景视图来进行风险管理、产品营销、业务创新等活动，进而寻找最优的模式支持商业决策。下文阐述了大数据在银行业应用的几个场景。
2013-12-02 22:54:24
8717
原创 hive设置mysql元数据编码问题
文章来自：http://blog.csdn.net/lili72Mysql默认安装，建表时出现如下异常。FAILED: Error in metadata: javax.jdo.JDODataStoreException: An exception was thrown while adding/validating class(es) : Specified key was too long; max key length is 767 bytes com.mysql.jdbc.exceptio
2013-08-31 11:07:09
4331
转载 生活与思考
心理导读：这是一个清华差生的十年奋斗史。当年大学毕业，他们系里三分之一出国了；三分之一推研了；剩下最差的三分之一，入社会找工作。他就是那最差的三分之一。而今当他回顾这漫长的十年，发现不管机遇怎样，成功的人都有共同的特点——他们对于成功的渴望，好像饿狼对于肉食的觊觎，他们随时肌肉绷紧永不懈怠，一旦时机成熟，一口就把肉吞下去。33我的故事里有三个人：我自己、我大学同宿舍的哥们、我第一个
2013-08-31 11:05:48
1060
转载 Could not open the editor: Invalid thread access
Myeclipse安装了SVN插件之后突然打开什么东西都报错了：Could not open the editor: Invalid thread access解决方法是：1. cmd2. cd 进入你的Myeclipse安装目录 ： E:\MyEclipse8.5>3.执行命令 -clean 比如：我的安装目录下是Myeclipse.exe则
2013-07-09 22:25:31
2810
转载 java泛型总结
Java中关于泛型的总结一、Java泛型的实现方法：类型擦除前面已经说了，Java的泛型是伪泛型。为什么说Java的泛型是伪泛型呢？因为，在编译期间，所有的泛型信息都会被擦除掉。正确理解泛型概念的首要前提是理解类型擦出（type erasure）。Java中的泛型基本上都是在编译器这个层次来实现的。在生成的Java字节码中是不包含泛型中的类型信息的。使用泛型的时候加
2013-04-02 19:33:26
1105
原创 java web知识整理，对比。
Servlet jsp类装载及实例创建阶段、实例初始化阶段、服务阶段以及实例销毁阶段。 1、运行速度上比CGI快，因为使用了多线程2、servlet使用了标准的api，可被许多web服务支持3、与系统无关性，一次编译多次使用 1，初始化阶段 调用init()方法 2，响应客户请求阶段 调用service()方法 3，终止阶段 调用d
2013-03-17 12:06:04
1913
原创 maven hibernate的pom文件
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> 4.0.0 com.li72.user user-core 0.0.1-SNAPSHOT war user-core http://maven
2013-02-02 09:23:11
3063
原创 递归显示无限级 导航菜单
菜单的实体 package com.fenjin.bank.model;import java.util.HashSet;import java.util.Set;/** * Menu entity. @author MyEclipse Persistence Tools */public class Menu implements ja
2012-09-20 13:22:53
1158
原创 eclipse 配置maven 项目
1 检查eclipse 是否已经有maven插件： windows-----preferences--- 输入maven 如果有表明已经安装了。否则没有安装。 搜索 安装m2eclipse插件 安装 2 我的eclipse4.3.0 已经有了，在此不在描述安装插件过程。 3 设置eclipse关联自己 安装的maven Apply 点击ok
2012-07-08 17:42:04
1029
原创 hadoop 环境准备
1 上传JDK文件jdk-6u45-linux-i586.bin 到/home/bigdata/ 1.1 赋权 chmod +x jdk-6u45-linux-i586.bin 1.2 解压 ./ jdk-6u45-linux-i586.bin 1.3 配置环境变量 vi /etc/profile 增加 到文件
2012-07-08 17:41:09
858
原创 斗地主 发牌核心 代码
Card类 publicclass Card { //点数 publicstaticfinalintTHREE = 0; publicstaticfinalintFOUR = 1; publicstaticfinalintFIVE = 2; publicstat
2012-07-08 17:39:31
1207
原创 Memcached安装与使用
Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提供动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。memcached 是以LiveJournal 旗下Danga Interactive 公司的Brad Fitzpatric 为首开发的一款软件。
2012-07-08 17:36:53
992
原创 java 发送邮件的4种方式
第一步：建立一个java项目第二步：引入mail.jar包由简单到复杂，第一种邮件发送的形式package com.li72.email;import java.util.Properties;import javax.mail.Address;import javax.mail.Message;import javax.mail.Session;impor
2012-04-23 20:16:53
12534
原创 5分钟利用 Myeclipse8.6 快速搭建ssh（JPA）开发环境 并自动生成dao ，model
第一步 创建一个数据库school 再建立几张表第二步 创建一个web项目 sshExample第三步 加Myeclipse对struts2的支持 点击项目右键---->Myeclipse ----->add struts capabilities 选择红色的finish选择好next 选择struts2 对spring的支持 fin
2012-04-19 22:27:29
7272
3
原创 java 版 获取css中的图片 httpClient4.1.3 下载
要下载源代码java 版 获取css中的图片 httpClient4.1.3 下载先看运行效果 这是选择文件 ，可以选择css和js 选择文件存放的路径 分析css中图片的url 填写网站的主路径很重要，下载图片就根据这个url和css中的url结合起来这样就可以下载成功了。部分 关键代码public static
2012-04-16 17:11:59
3084
5分钟利用Myeclipse快速搭建ssh（JPA）环境，自动生成dao，model
2012-04-19
java jar包 全集
2012-04-18
win7_64eclispe插件
2014-04-12
hadoophive
2013-06-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人