![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
野木香
电信,物流,车联网,金融行业,主要做JAVA, 喜欢C/CPP, Linux嵌入式,有一个自己做的代码生成平台
展开
-
hadoop2.x常用端口及定义方法
http://www.zhixing123.cn/ubuntu/40649.htmlHadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。这里包含我们使用到的组件:HDFS, YARN, HBase, H转载 2015-10-20 14:15:09 · 947 阅读 · 0 评论 -
mongdb及它的mapreduce的坑
跟老同事交流,发现很多团队都不用mongodb了,由于工作原因,必须使用,后来发现里面的坑不少,下面列一些,希望有助于大家解决棘手的问题1,导出导入数据。用mongovue导出的数据(默认配置),再导入到另外一个库里面,报Error occurred during importJSON reader was expecting a value but found ','.原创 2015-12-08 21:44:16 · 4760 阅读 · 0 评论 -
安装配置Hadoop2.6.0(完全分布式)
我的环境是:Ubuntu14.04+Hadoop2.6.0+JDK1.8.0_25官网2.6.0的安装教程:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html为了方面配置,我在每台机器上都使用了hadoop用户来操作,这样做的确够方便。结点信息:(转载 2016-04-14 21:02:16 · 2453 阅读 · 0 评论 -
初始ZooKeeper与集群搭建实例
zookeeper是什么Zookeeper,一种分布式应用的协作服务,是Google的Chubby一个开源的实现,是Hadoop的分布式协调服务,它包含一个简单的原语集,应用于分布式应用的协作服务,使得分布式应用可以基于这些接口实现诸如同步、配置维护和分集群或者命名的服务。zookeeper是一个由多个service组成的集群,一个leader,多个follower,每个serve转载 2016-04-11 12:42:33 · 555 阅读 · 0 评论 -
学习Redis必须了解的N个常识
1.1 资料<The Little Redis Book> ,最好的入门小册子,可以先于一切文档之前看,免费。作者Antirez的博客,Antirez维护的Redis推特。Redis 命令中文版, huangz同学的翻译。Redis设计与实现 ,又是huangz同学的巨作,深入了解内部实现机制。Redis 2.6源码中文注释版 ,继续是huangz同学的大功德。NoSQL Fa转载 2016-03-28 18:07:50 · 8831 阅读 · 0 评论 -
提高mysql千万级大数据SQL查询优化30条经验(Mysql索引优化注意)
1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:select id from t where num is null可以在num上设置默认值0,确保表中num列没有null值,然后这样查询:select转载 2016-03-04 13:50:08 · 655 阅读 · 0 评论 -
Dubbo安装部署
http://blog.itpub.net/27099995/viewspace-1394819/2015.01.08 运行环境Jdk-1.6.30以上版本Tomcat-7.0.42Duboo-2.5.3Zookeeper-3.4.5端口分配序系统/端口httphttps转载 2016-01-11 14:32:16 · 821 阅读 · 0 评论 -
谨慎选择MongoDB
在过去的两到三年的时间内,我一直在一个中等规模的项目中使用 MongoDB。但因为各种技术上的原因,到了和 MongoDB 说再见的时候了,我的原因有以下几点:MongoDB 当前的内存模型基于内存映射文件,这是一项已经宣布脑死亡的技术。在实际应用过程中,不具备伸缩性,没有方法来控制内存的使用情况。锁机制: 一个可伸缩性的数据库解决方案使用全局的服务器锁是一个糟糕的设计,特别是因为转载 2015-12-09 16:27:01 · 3505 阅读 · 0 评论 -
mongodb 数据库操作--备份 还原 导出 导入
http://www.jb51.net/article/52498.htmmongodb数据备份和还原主要分为二种,一种是针对于库的mongodump和mongorestore,一种是针对库中表的mongoexport和mongoimport。一,mongodump备份数据库1,常用命令格?1mon转载 2015-12-04 18:38:45 · 696 阅读 · 0 评论 -
关于MongoDB的group用法
之前在看mongo的书时,看到了聚合这章。其中谈到了group这个功能,其实正如书中所说,mongodb中的group和sql中的group by是很相似的,但我自我分析,可能由于mongo中的group的使用形式不同,而且使用的是js 语法,所以导致咋一看上去不明白这个group怎么用。下面通过具体的一个例子来详细说明mongo的group用法。我们平常所用的博客,每天会有很多人发博客,转载 2015-12-03 12:44:03 · 4716 阅读 · 0 评论 -
MongoDB常用操作
转自: http://www.cnblogs.com/andylaufzf/archive/2011/11/10/2244732.html一、查询 find方法db.collection_name.find(); 查询所有的结果:select * from users;db.users.find();指定返回那转载 2015-12-02 15:52:48 · 468 阅读 · 0 评论 -
MySQL的btree索引和hash索引
Hash 索引结构的特殊性,其检索效率非常高,索引的检索可以一次定位,不像B-Tree 索引需要从根节点到枝节点,最后才能访问到页节点这样多次的IO访问,所以 Hash 索引的查询效率要远高于 B-Tree 索引。可能很多人又有疑问了,既然 Hash 索引的效率要比 B-Tree 高很多,为什么大家不都用 Hash 索引而还要使用 B-Tree 索引呢?任何事物都是有两面性的,Hash 索引也转载 2015-12-16 18:35:49 · 435 阅读 · 0 评论 -
理解长短期记忆网络
递归神经网络人类并不是每时每刻都从头开始思考。正如你阅读这篇文章的时候,你是在理解前面词语的基础上来理解每个词。你不会丢弃所有已知的信息而从头开始思考。你的思想具有持续性。传统的神经网络不能做到这点,而且这似乎也是它的主要缺陷。比如,你想对电影中每个点发生的事件类型进行分类。目前还不清楚传统神经网络如何利用之前事件的推理来得出后来事件。递归神经网络能够解决这一问题。这些网络转载 2017-03-14 12:53:18 · 1458 阅读 · 0 评论