学习笔记
文章平均质量分 80
li72li72
数据服务中心,数据处理,ETL
展开
-
hibernate的 悲观锁和乐观锁
Hibernate悲观锁:指的是对数据被外界(包括本系统当前的其他事务,以及来自外部系统的事务处理)修改持保守态度,因此,在整个数据处理过程中,将数据处于锁定状态。悲观锁的实现,往往依靠数据库提供的锁机制(也只有数据库层提供的锁机制才能真正保证数据访问的排他性。在数据有加载的时候就给其进行加锁,直到该锁被释放掉,其他用户才可以进行修改,优点:数据的一致性保持得很好,缺点:不适合多个原创 2012-03-22 19:59:38 · 846 阅读 · 0 评论 -
sqoop相关整理记录
生产背景:在从mysql导入到hive中,遇到如下问题: 1) 源mysql和集群机器不在同一个网段中,导致执行导入命令,网络连接失败。 2) 某些字符导入到hive中,出现报错终止。 2.1 sqoop使用的JDBC-connector 版本太低(更换版本)。从hive导出到mysql中,遇到如下问题: 1)某些字符插入mysql,出现报错终止。 1.1原创 2014-11-07 21:16:42 · 17409 阅读 · 0 评论 -
hightmaps 按地图显示统计量
从extjs 到 easyui 到html5到hightchars 再到hightmaps。Exjts和easyui很相似,extjs是重量级的,easyui轻量级的,比extjs容易上手,照着demo改就可以开发了,easyui入门demo见:easyui-demo,或者到官网http://www.jeasyui.com/;会了easyui开发,上手html5界面开发也非常的快,大多类似的,到h原创 2014-10-09 22:43:14 · 24864 阅读 · 9 评论 -
awk 学习记录
思考。原创 2012-02-26 18:33:53 · 562 阅读 · 0 评论 -
hadoop 环境准备
1 上传JDK文件jdk-6u45-linux-i586.bin 到/home/bigdata/ 1.1 赋权 chmod +x jdk-6u45-linux-i586.bin 1.2 解压 ./ jdk-6u45-linux-i586.bin 1.3 配置环境变量 vi /etc/profile 增加 到文件原创 2012-07-08 17:41:09 · 844 阅读 · 0 评论 -
zookeeper 实践安装
start Android原创 2012-03-16 23:51:04 · 898 阅读 · 0 评论 -
Memcached安装与使用
Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提供动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。memcached 是以LiveJournal 旗下Danga Interactive 公司的Brad Fitzpatric 为首开发的一款软件。原创 2012-07-08 17:36:53 · 981 阅读 · 0 评论 -
eclipse 配置maven 项目
1 检查eclipse 是否已经有maven插件: windows-----preferences--- 输入maven 如果有表明已经安装了。否则没有安装。 搜索 安装m2eclipse插件 安装 2 我的eclipse4.3.0 已经有了,在此不在描述安装插件过程。 3 设置eclipse关联自己 安装的maven Apply 点击ok原创 2012-07-08 17:42:04 · 1015 阅读 · 0 评论 -
json数据源文件解析
文章: http://blog.csdn.net/lili72背景: 分布式文件通过rsync同步到生产机。 文件数 1440=24*60 也就是一分钟生成一个文件 文件命名 0000 0001 0002 ... 2358 2359 。由于文件传过来是JSON格式,需要对文件进行解析,导入HDFS中。 过程 1 rsync同步文件到当天的日期目录,每天实时把文件原创 2014-12-19 22:07:09 · 2084 阅读 · 0 评论 -
hadoop平台读取文件报错
背景: 生产环境有个脚本执行读取st层表数据时出现IO错误,查看表目录下的文件,都是压缩后的文件。详细信息如下:Task with the most failures(4):-----Task ID:task_201408301703_172845_m_003505URL:http://master:50030/taskdetails.jsp?jobid=j原创 2014-12-08 22:19:36 · 6178 阅读 · 1 评论 -
用户标签设计
http://blog.csdn.net/lili72背景: 需要更加符合实际的了解用户对产品的使用情况,取每天流水数据,统计分析一个时间段用户的行为特点: 用户地区属性:最近30天出现的地方,据此推测用户所在地方,用户出现最多和用户最近出现的地方。 用户偏好属性:最近30天用户使用的菜单,据此推测用户所偏好的产品,更深入知道用户的年龄层,定向向用户推送类似的产品。原创 2014-12-09 23:35:58 · 3946 阅读 · 0 评论 -
etl工作中的设计问题
http://blog.csdn.net/lili72背景1 : 随着接入数据和处理数据的增加,生产脚本也越来越多,脚本由于前期的开发人员没有做到规范管理,导致脚本很乱。解决方案: 1) 在lunix上规范目录,按平台,业务模块分目录存放。 2) 做好版本管理,提交到生产的脚本必须要commit到svn服务器。 3) lunix上的目录是反应到svn的目录映射。原创 2014-12-10 22:12:39 · 1266 阅读 · 0 评论 -
mahou 安装实例
1 下载mahout http://mirrors.hust.edu.cn/apache/mahout/0.9/ 2 选择安装到130 机 复制到 130机的 /home/bigdata/中 解压 tar -zxvf mahout-distribution-0.9.tar.gz 改名 mv mahout-distribution-0.9.tar.gz mahout 3 设置环境变量 vi /etc/profile MAHOUT_HOME=/home/bodat原创 2014-08-02 21:56:14 · 1042 阅读 · 0 评论 -
工作中的oracle常用维护
http://blog.csdn.net/lili72背景:由于历史原因,公司部分业务还在使用oracle中。一出问题就是搞的很麻烦。由于长期使用的是mysql 和hive,Hbase等,一些oracle的命令慢慢的也是忘记了,但是公司某些在oracle上的业务,突然出现问题,每次查找问题都查得比较费劲,现把常用命令记录下来。 常遇到的oracle的问题: 1.原创 2015-01-15 21:34:07 · 1169 阅读 · 0 评论 -
storm准实时应用
1 应用背景: 需要实时统计用户的登陆数,在线人数,活跃时间,下载等指标的数据,或者清洗后移到hdfs上。 2 设计架构: 1) 客户端产生数据--- 2) kafka-生产者实时采集数据(保留7天)----- 3) storm实时消费数据,处理数据 4)把实时数据统计结果缓存到memcached 中原创 2014-12-29 22:33:16 · 4390 阅读 · 0 评论 -
lunix shell 基础常用整理
1 ps -ef 显示正在运行的进程,pid 等信息 UID PID PPID C STIME TTY TIME CMDroot 1 0 0 03:45 ? 00:00:02 init [5]root 2 1 0 03:45 ? 00:00:00 [migration/0]root 3 1 0 03:45 ? 00:00:00 [ksoftirqd/0]ro原创 2014-08-31 22:43:24 · 1815 阅读 · 0 评论 -
hadoop2.2 新增数据节点
HostnameIPHadoop版本Hadoop功能系统hadoop2192.168.119.1312.2.0namenodejdk1.6+hadoopcentos5.9 h2slave1192.168.119原创 2014-08-17 14:04:53 · 1891 阅读 · 0 评论 -
vmware 克隆新机器
选择li72 点击右键------管理-----克隆完成,开启系统,用户名root 密码和以前系统一样可以通过passwd 修改密码Ip也和以前的一样 需要修改ip 主要修改以下文件 1 vi /etc/sysconfig/network-scripts/ifcfg-eth0原创 2014-08-17 10:57:10 · 1040 阅读 · 0 评论 -
5分钟利用 Myeclipse8.6 快速搭建ssh(JPA)开发环境 并自动生成dao ,model
第一步 创建一个数据库school 再建立几张表第二步 创建一个web项目 sshExample第三步 加Myeclipse对struts2的支持 点击项目右键---->Myeclipse ----->add struts capabilities 选择红色的finish选择好next 选择struts2 对spring的支持 fin原创 2012-04-19 22:27:29 · 7264 阅读 · 3 评论 -
HttpClient 4.1.3模拟表单提交示例
/** * */package com.li72.test;import java.io.IOException;import java.io.UnsupportedEncodingException;import java.util.ArrayList;import java.util.List;import org.apache.http.HttpEntity原创 2012-04-07 23:53:16 · 7541 阅读 · 1 评论 -
复习总结
类型 方式 参考书籍原创 2012-03-13 16:03:02 · 604 阅读 · 0 评论 -
java 发送邮件的4种方式
第一步:建立一个java项目第二步:引入mail.jar包由简单到复杂,第一种邮件发送的形式package com.li72.email;import java.util.Properties;import javax.mail.Address;import javax.mail.Message;import javax.mail.Session;impor原创 2012-04-23 20:16:53 · 12517 阅读 · 0 评论 -
斗地主 发牌核心 代码
Card类 publicclass Card { //点数 publicstaticfinalintTHREE = 0; publicstaticfinalintFOUR = 1; publicstaticfinalintFIVE = 2; publicstat原创 2012-07-08 17:39:31 · 1190 阅读 · 0 评论 -
递归显示无限级 导航菜单
菜单的实体 package com.fenjin.bank.model;import java.util.HashSet;import java.util.Set;/** * Menu entity. @author MyEclipse Persistence Tools */public class Menu implements ja原创 2012-09-20 13:22:53 · 1148 阅读 · 0 评论 -
maven hibernate的pom文件
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> 4.0.0 com.li72.user user-core 0.0.1-SNAPSHOT war user-core http://maven原创 2013-02-02 09:23:11 · 3051 阅读 · 0 评论 -
java web知识整理,对比。
Servlet jsp类装载及实例创建阶段、实例初始化阶段、服务阶段以及实例销毁阶段。 1、运行速度上比CGI快,因为使用了多线程2、servlet使用了标准的api,可被许多web服务支持3、与系统无关性,一次编译多次使用 1,初始化阶段 调用init()方法 2,响应客户请求阶段 调用service()方法 3,终止阶段 调用d原创 2013-03-17 12:06:04 · 1897 阅读 · 0 评论 -
java泛型总结
Java中关于泛型的总结一、Java泛型的实现方法:类型擦除前面已经说了,Java的泛型是伪泛型。为什么说Java的泛型是伪泛型呢?因为,在编译期间,所有的泛型信息都会被擦除掉。正确理解泛型概念的首要前提是理解类型擦出(type erasure)。Java中的泛型基本上都是在编译器这个层次来实现的。在生成的Java字节码中是不包含泛型中的类型信息的。使用泛型的时候加转载 2013-04-02 19:33:26 · 1091 阅读 · 0 评论 -
Could not open the editor: Invalid thread access
Myeclipse安装了SVN插件之后突然打开什么东西都报错了:Could not open the editor: Invalid thread access解决方法是:1. cmd2. cd 进入你的Myeclipse安装目录 : E:\MyEclipse8.5>3.执行命令 -clean 比如:我的安装目录下是Myeclipse.exe则转载 2013-07-09 22:25:31 · 2792 阅读 · 0 评论 -
银行大数据
随着银行业务的载体与社交媒体、电子商务的融合越来越紧密,仅对原有15%的结构化数据进行分析已经不能满足发展的需求。企业需要借助大数据战略打破数据 边界,囊括85%的大数据分析,来构建更为全面的企业运营全景视图。以科技引领业务发展,未来银行也同样需要借助由大数据构建的企业经营全景视图来进行风险管理、产品营销、业务创新等活动,进而寻找最优的模式支持商业决策。下文阐述了大数据在银行业应用的几个场景。转载 2013-12-02 22:54:24 · 8699 阅读 · 0 评论 -
db2 基础知识整理
目录一 安装数据库服务 (环境要求) 1.1 创建实例db2icrt set db2intance=db2(设置当前实例) 1.2 删除实例db2idrop 1.3 更新实例db2iupdt instance_name 1.4 查看实例 db2ilistselect * from sysibm.sysversions 查看db2版本二原创 2014-05-17 19:50:28 · 8574 阅读 · 0 评论 -
Spark1.0.0 分布式环境搭建
软件版本如下:HostnameIPHadoop版本Hadoop功能系统master192.168.119.1281.1.2namenodejdk1.6+hadoop+scala2.9.3+spark1.0.0centos4.9原创 2014-06-22 11:22:21 · 3846 阅读 · 1 评论 -
storm0.9.1 集群环境安装配置
Storm安装配置三台机器 131,132,133需要安装 jdk,python,autoconf-2.64,zeromq-3.2.2,jzmq安装jdk和python不详细说。 1 安装 autoconf-2.64, 1.1 下载 http://download.chinaunix.net/download.php?id=29328&ResourceID=648原创 2014-07-02 23:00:20 · 2977 阅读 · 0 评论 -
数据平台调度系统的设计
文章出自: http://blog.csdn.net/lili72 1 能定时发起各类型的任务1.1 任务类型比如 shell脚本,或者jar 程序,或者调用存储过程1.2 可以设置每天什么时候开始执行,每天执行几次。或者每隔多久执行一次(类crontab)1.3 数据平台一般的任务类型有: 1.3.1 101任务: 检查数据源文件是否到齐(包括文件个数,或者原创 2015-01-02 15:05:50 · 3777 阅读 · 1 评论