- 博客(13)
- 资源 (5)
- 问答 (7)
- 收藏
- 关注
原创 mongodb api 使用小结
1.字段模糊查询collname = collname+"-"+table; DB db = mongoconn.getDb_con();BasicDBList condList = new BasicDBList();DBCollection users = db.getCollection(collname);BasicDBObject dbo = new Basi
2017-03-22 10:32:15 401
转载 Hadoop+HBase+ZooKeeper三者关系与安装配置
本帖最后由 qqjue 于 2014-2-18 23:16 编辑这里有几个主要关系:1.经过Map、Reduce运算后产生的结果看上去是被写入到HBase了,但是其实HBase中HLog和StoreFile中的文件在进行flush to disk操作时,这两个文件存储到了HDFS的DataNode中,HDFS才是永久存储。2.ZooKeeper跟Hadoop Cor
2017-01-06 16:46:23 750
转载 20 个顶尖的 Python 机器学习开源项目
1. Scikit-learnwww.github.com/scikit-learn/scikit-learnScikit-learn 是基于Scipy为机器学习建造的的一个Python模块,他的特色就是多样化的分类,回归和聚类的算法包括支持向量机,逻辑回归,朴素贝叶斯分类器,随机森林,Gradient Boosting,聚类算法和DBSCAN。而且也设计出了Python
2016-12-23 14:58:17 288
转载 mongodb连接池
mongodb数据库接口的设计package storm.db;import java.util.ArrayList;import com.mongodb.DB;import com.mongodb.DBCollection;import com.mongodb.DBObject;public interface MongoDBDao { /*
2016-12-23 14:55:22 715
翻译 Python 机器学习
为了理解和应用机器学习技术,你需要学习 Python 或者 R。这两者都是与 C、Java、PHP 相类似的编程语言。但是,因为 Python 与 R 都比较年轻,而且更加“远离”CPU,所以它们显得简单一些。相对于R 只用于处理数据,使用例如机器学习、统计算法和漂亮的绘图分析数据, Pthon 的优势在于它适用于许多其他的问题。因为 Python 拥有更广阔的分布(使用 Jango 托管网站,自
2016-12-23 14:51:19 515
原创 linux如何查看某个端口接收到的数据
方法一:用tcpdump命令sudo /usr/sbin/tcpdump -s 0 -X 'tcp dst port 80'把port改为你想要监听的端口即可在linux下监听某个端口的数据。但是打印出来的数据不是很人性化。方法二:用ngrep命令#如果没有ngrep命令,首先要安装sudo yum -y install ngrep#然后可以指定端口 或者 正则表达式
2016-12-13 17:10:36 18743 1
转载 java四舍五入
舍掉小数取整:Math.floor(2.0)=2舍掉小数取整:Math.floor(2.1)=2舍掉小数取整:Math.floor(2.5)=2舍掉小数取整:Math.floor(2.9)=2舍掉小数取整:Math.floor(-2.0)=-2舍掉小数取整:Math.floor(-2.1)=-3舍掉小数取整:Math.floor(-2.5)=-3舍掉小数取整:Mat
2016-06-14 14:06:09 234
转载 redis方法
附加一个工作中常用到的Jedis工具类,如下:package com.zhongsou.vertportal.util; import java.util.HashMap; import java.util.Map; import org.slf4j.Logger; import org.slf4j.LoggerFactory; imp
2016-06-03 22:45:34 801
原创 map转list
public static void testMapVoid() { Map map = new HashMap(); map.put("a", "a1"); map.put("b", "b1"); map.put("c", "c1"); List listK
2016-05-26 13:45:18 251
转载 hadoop集群增加/删除机器
增加机器不重启操作如下: 首先,把新节点的 IP或主机名 加入主节点(master)的 conf/slaves 文件。 然后登录新的从节点,执行以下命令: $ cd path/to/hadoop $ bin/hadoop-daemon.sh start datanode $ bin/hadoop-daemon.sh start tasktracker 然后就可以在naman
2016-05-19 16:12:10 533
翻译 Hive vs. HBase
对于刚接触大数据的用户来说,要想区分Hive与HBase是有一定难度的。本文将尝试从其各自的定义、特点、限制、应用场景等角度来进行分析,以作抛砖引玉之用。 Hive是什么?Apache Hive是一个构建于Hadoop(分布式系统基础架构)顶层的数据仓库,注意这里不是数据库。Hive可以看作是用户编程接口,它本身不存储和计算数据;它依赖于HDFS(Hadoop分布式文件系统)和Ma
2016-05-11 16:48:11 365
转载 Cassandra HBase和MongoDb性能比较
这是一篇基于亚马逊云平台上对三个主流的NoSQL数据库性能比较,在读写两个操作不同的组合情况下性能表现不同。横坐标是吞吐量,纵坐标是延迟,这是一对矛盾,吞吐量越大,延迟越低,代表越好。1. 纯粹插入,Cassandra领先,见下图:2.WorkloadA: 读修改操作各占一半情况下的修改性能:MongoDB明显延迟增加,落败:3.WorkloadB:读修改操
2016-05-11 16:11:24 4359 1
原创 byte[],inputstream互转
private InputStream transformByte(byte[] b) throws Exception { if(null!=b && b.length > 0) { InputStream input = new ByteArrayInputStream(b);
2015-07-31 16:08:19 242
java实现K-MEANS文本聚类
2016-10-17
Struts2.3.12+Spring3.2.2+Hibernate4.2.0 SSH搭建
2014-09-22
mongodb连接集群的疑问
2016-09-14
linux执行jar文件写入数据库数据出现延迟
2016-05-17
samza 向kafka写数据报错,求高手啊!!
2016-02-02
oozie安装,oozie-docs报错
2015-11-30
java 遍历hdfs文件夹报错!!急!!急
2015-10-21
ecplise内读取hadoop hdfs上的文件,报错,拒绝连接
2015-10-16
邮件版本、格式的问题
2015-08-15
TA创建的收藏夹 TA关注的收藏夹
TA关注的人