大数据
三棱球
电子商务、互联网基础技术框架、手机游戏平台等
展开
-
HIVE HBASE 整合
一直想将hbase 与hive整合在一起,由于公司项目工期一期紧似一期,现在终于大功告成。原创 2014-09-29 12:16:23 · 1584 阅读 · 0 评论 -
hive 直接插入mysql
hive> CREATE temporary FUNCTION dboutput AS 'org.apache.hadoop.hive.contrib.genericudf.example.GenericUDFDBOutput';原创 2014-07-15 18:48:06 · 1835 阅读 · 0 评论 -
搜索引擎得建索引方法
1、 192.168.50.16:8080/gluIndexAPI/index?appkey=3iwWEs0C81&method=init 清除Documnet_c document_m counter 中的数据,计数器清0 2、执行命令: /usr/local/sphinx/bin/indexer -c /usr/local/sphinx/etc/sphinx_glu.c原创 2011-11-29 21:53:04 · 1116 阅读 · 0 评论 -
redis集群配置
1、按照官方文档进行安装原创 2014-07-21 11:02:17 · 593 阅读 · 0 评论 -
按用户ID统计其价值变化趋势
按用户ID统计其价值变化趋势前些天计算了用户的价值模型,其价值随着其实时数据的变化而变化,并反馈给实时竞价算法应用,对于其变化趋势没有更详尽的了解,今天想把每个用户的变化趋势画出来看一下。 收集数据 抽取数据 将多条数据按用户ID进行合并 显示变化曲线 收集数据我将所需要的灵气在程序中以日志的形式输出,格式如下:[INFO ] 2015-03-06 09:00:05 [pool-1-thread-原创 2015-03-06 10:31:45 · 546 阅读 · 0 评论 -
欢迎使用CSDN-markdown编辑器
Hadoop集群安装下载压缩包wget “http://uri”安装并配置zookeeperdataDir=/data1/data/zookeeper clientPort=2181 server.1=host1:2888:3888 server.2=host2:2888:3888 server.3=host3:2888:3888增加myid文件 echo 1 >/data1/data/zookee原创 2016-01-19 18:35:57 · 558 阅读 · 0 评论 -
HDFS 高可用HA搭建过程
这两天搞集群高可用设置,其实网上的介绍很详细了,不再多说,只记录一下我操作的过程。 更多介绍请参见文章: http://blog.csdn.net/luyee2010/article/details/8615537 问题一: 按照上面写的一步步配置下来,格式化namenode失败。首先要启动journalnode,之后才能格式namenode成功。 启动方式如下: s原创 2015-09-18 11:56:56 · 813 阅读 · 0 评论 -
Mysql 索引问题-日期索引使用
这两天发现原来的查询效率慢了,使用explain 查看,居然没有使用索引, 我的索引是日期类型的,首先想到的是mysql对日期类型的索引的处理机制是不是不同,在where条件里试了几种,发现效果都差不多, where dayid >= ‘20161121’ where dayid >= ‘2016-11-21’ where dayid between ‘2016-11-01’ a原创 2016-11-24 18:02:48 · 32713 阅读 · 1 评论