2014年06月_dataee

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

Hive之insert into 和insert overwrite

insert into 和overwrite的用法：INSERT INTO TABLE tablename1 [PARTITION \(partcol1=val1, partcol2=val2 ...)] \select_statement1 FROM from_statement; INSERT OVERWRITE TABLE tablename1 [PARTITION \...

2014-06-26 16:56:26 2853

pearson相关系数

概述：pearson相关系数用于比较两组变量是否线性相关，比如{a1,a2,a3,a4}与{b1,b2,b3,b4}他们都是同增加或者同减少，那么他们就是相关的。取值：相关系数的取值为-1<r<1，为0时表示不相干，正数的时候为正相关，负数的时候为负相关，如下所示： |r|取值与相关程度的关系如下所示：适用条件：1、两变量均应由测量得到的连续变量。2、两变...

2014-06-26 15:21:25 567

Hive之partition

概述hive的partition可以认为是RMDB中的分区，目的是query时减少全表扫描。使用：创建分区：create EXTERNAL TABLE IF NOT EXISTS p(id STRING COMMENT 'id') partitioned by (seq int)STORED AS SEQUENCEFILE LOCATION 'hdfs:///...

2014-06-25 17:50:37 306

Hive之内部表和外部表

hive的建表语句如下：CREATE [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COM...

2014-06-24 17:43:11 112

Hadoop之TeraSort

背景：TeraSort普遍用于参数hadoop的性能，那么他的原理是什么？原理：1.利用默认的IdentityMapper和IdentityReducer进行系统的输入输出。2.利用mapreduce.job.reduces进行partitions数的确定3.每个partition读取mapreduce.terasort.partitions.sample/mapreduce...

2014-06-24 11:17:44 413

Yarn下的YarnChild启动个数决定参数

Yarn下的mapper和reducer并发执行个数有什么决定的呢？由调度的资源决定的，也就是说启动的YarnChild个数多少取决于资源的分配和free的资源量参数说明：conf/yarn-site.xmlyarn.nodemanager.resource.memory-mbNodeManager总的可用物理内存,默认值是8192MB,一般情况下不要修改yarn.no...

2014-06-23 17:41:38 405

HDFS超租约异常（org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException）

异常信息：org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: No lease on ***.lzo File does not exist. Holder ** does not have any open files. ...

2014-06-19 17:35:25 959

linux之目录赋予某组权限

让某用户组用户都拥有某目录的权限，如：/data/pb目录用户组 pb 那么命令如下：chown -R pb /data

2014-06-18 21:44:36 1127

hive执行hql脚本

需求：基于hive做hdfs的统计分析涉及点：1.基于hive 执行hql脚本：hive -f /home/usr/my.sql2.基于hive执行hql命令：bin/hive -e "select count(1) from tab;"3.安静模式执行，不打印mrjob的进度：hive -S -f /home/usr/my.sql4.执行结果存入一个txt文...

2014-06-18 14:55:05 1233

NNBench执行过程和参数说明

需求：基于NNBench测namenode的负载测试参数说明：-operation -maps mapper数-reduces reducer数-startTime 开始时间-blockSize block size-bytesToWrite 文件写入字节数单位为b-bytesPerChecksum 条件blockSize % bytesPerChecksu...

2014-06-17 18:25:43 1788

毕业生中的级和届的区别

那一届的和哪一级的很是让人混肴，辨别举例来说：路人甲2000年本科入学，2004年本科毕业那么针对路人甲而言他的信息如下：2000级2004届学生

2014-06-16 21:02:53 4483

yarn下的hdfs和mr性能调优参数一览表

mr核心的几个参数：conf/mapred-site.xml：mapreduce.task.io.sort.mb任务内部排序缓冲区大小默认100mmapreduce.map.sort.spill.percentMap阶段溢写文件的阈值（排序缓冲区大小的百分比）默认0.8mapreduce.reduce.shuffle.parallelcopiesReduce Task...

2014-06-13 16:10:00 271

RTB概述

RTB为广告的一种投放方式，比如百度首页的某250*250 广告位，以前的模式是此广告无论那个用户访问按照指定方式付费，比如包月。而RTP中加入了用户的信息，我们称之为用户上下文，这样就相当于加入了用户的兴趣，这个时候用户访问量已经不是关键了，关键是用户的兴趣点；这个里面有如下几个概念：dsp：Demand-Side Platform，这个就是真的需求方，或者说出钱给媒体的平台；Ad...

2014-06-12 22:04:35 423

mysql之修改密码启动生效

需求：修改mysql的用户名密码然后生效实现：1.修改操作：update mysql.user set password=PASSWORD('hive123') where user='hive'; 把hive的用户密码修改为hive1232.生效刷新操作：flush privileges ps：好多人忘记第二步骤了，因此修改后不生效...

2014-06-11 16:17:04 1396

hive审计日志开启保存

需求：hive在0.9之后加入的审计日志，具体的信息在metastore下的org.apache.hadoop.hive.metastore.HiveMetaStore开启hive的审计日志，并做其分析实现：1.先保存其日志，格式为：org.apache.hadoop.hive.metastore.HiveMetaStore.AUDIT_FORMAT基于log4j，针对不同的...

2014-06-11 11:43:47 2823 1

运行 java applet时提示：您的安全设置已阻止本地应用程序运行解决方式

运行 java applet时提示：您的安全设置已阻止本地应用程序运行，如下图所示：解决方式：控制面板->程序->Java->安全安全级别调至中

2014-06-09 14:34:52 591

hive安装部署之单用户模式

原料：1.hive-0.12.0-cdh5.0.02.hadoop集群已经安装完成3.系统用户为amba其他配置环境信息：HIVE_HOME=/home/amba/hive-0.12.0-cdh5.0.0HADOOP_HOME=/home/amba/hadoop-2.3.0-cdh5.0.0JAVA_HOME=/home/amba/jdk1.7.0_51安装部署：...

2014-06-06 17:43:00 118

通过ip访问某搜索引擎的方式

需求：某搜索引擎最近持续不能用，如果需要减少搜索次数又期望使用那么可以采用ip访问解决：1.基于ip访问：http://203.208.46.200/http://203.208.46.212/等2.基于代理，详情查看另外一篇博客...

2014-06-06 13:41:07 147

freemarker之null判断

需求：item.title为null 时直接${item.title}，异常，因此需要对之判断或者直接default实现：条件：item.title为null${item.title}，异常 ${item.title!},显示空白 ${item.title!'header.title'}，若item.title不为空则显示本身的值，否则显示vakin ${item....

2014-06-05 17:04:41 823

管理后台模板

管理后台模板，单页面应用方案，所有操作无需跳转采用前后端分离开发模式，上手略难更友好的交互体验，减轻浏览器负载面向全屏幕尺寸的响应式适配能力灵活的主题色配置

2018-08-03

Sqlite Developer

Sqlite Developer是SharpPlus出品的一款强大数据库管理软件。支持对sqlite3数据库的管理。Sqlite Developer是非常轻便的一种数据库管理工具，但是试用期比较短，而且注册码很难找，所以我们使用的时候需要借助一点小技巧就可以一直使用了。

2018-08-02

fourinone号称了集成了hadoop,zk,memcache,mq于一身的四不像超级神器，致力于分布式应用。别的我不懂，今儿聊一下fourinone中的分布式缓存以及分布式文件系统，说到分布式，不得不用到网络通讯，不得不提及RPC，fourinone号称只有100多K，不依赖任何第三方jar，那通讯怎么玩啊！自己用socket或者NIO实现，要知道用NIO实现一个网络通讯框架是很考验技术功底。在运行的时候需要配置文件，此配置为fourinone-4.17.10配置文件

2018-07-30

手机号段归属编码库

最新手机号段归属地数据库，手机号省份编码规则库，手机号段对应全国各省市分布情况及地区编码，同时每个号段的手机号数量，可以方便项目开发人员或运营人员获取手机号段基础数据。

2018-07-03

GChistoGC日志分析工具

GChisto是一款优秀的GC日志分析工具。解压后找到Chisto.jar通过命令行运行.可以对jvm的内存进行检测分析，特别针对om问题

2018-05-30

windows系统运行的scp，实现从Linux系统copy文件

下载后解压，得到scp.exe 执行该工具需要在命令行中运行，进入开始-.运行输入 cmd进入刚才scp解压目录。若想在任意路径下都能运行scp.exe，需要把scp.exe所在路径写入系统的环境变量PATH：右击我的电脑 -> 属性 -> 高级 ->环境变量，编辑 PATH，在最后面加上scp.exe所在目录。

2018-05-17

ikanalyzer-solr6.5.zip

solr5+和ikanalyzer集成包主要内容包括：ext.dic、IKAnalyzer.cfg.xml和stopword.dic；ik-analyzer-solr5-5.x.jar 和 solr-analyzer-ik-5.1.0.jar

2018-04-10

拼团网php源码

php,团购,拼团,微信公共号拼团,h5,代码为php版本的

2017-03-19

mysql客户端navicat

2016-10-19

Netty权威指南中文版PDF

2016-04-03

eclipse数据库插件之quantum

QuantumDB 是一个Eclipse的实现了数据库结构的显示,SQL查询等功能的插件。

2015-04-09

JsonView查看器

json 格式化查看工具，客户端的，非常小

2015-04-07

SSHSecureShellClient

SSH是一个用来替代TELNET、FTP以及R命令的工具包，主要是想解决口令在网上明文传输的问题。为了系统安全和用户自身的权益，推广SSH是必要的。 SSH是英文Secure Shell的简写形式。通过使用SSH，你可以把所有传输的数据进行加密，这样"中间人"这种攻击方式就不可能实现了，而且也能够防止DNS欺骗和IP欺骗。

2015-04-07

ecplise html编辑器tk.eclipse.plugin.htmleditor_2.2.0.jar

ecplise html编辑器tk.eclipse.plugin.htmleditor_2.2.0.jar 配合GEF插件能在eclipse里识别html的标签来方便编辑html页面。tk.eclipse.plugin.htmleditor_2.2.0.jar文件直接复制到eclipse\plugins里面即可

2015-04-07