- 博客(5)
- 收藏
- 关注
RSS订阅原创 MongoDB对不重复数据分组进行计数
在实际环境中，经常会用到对数据进行去重计数1、采用mongodb的distinctdb.collection.distinct("key").lengthdb 是数据库名称，collection是集合名称，key是去重的字段，根据自己的名称进行修改该图显示了对uid去重后的数据总数2、采用MongoDB 的aggregate进行分组计数官方文档地址 https://docs....
2019-01-24 20:03:22
3221
1
原创 Windows 下 Conda install 安装出现HTTP 000 CONNECTION... 解决方案
在使用Conda install 安装库的时候出现以下错误原因是使用的是国外的镜像，切换至国内镜像就可以解决啦在cmd 中输入下面命令conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --set show_channel_urls yes...
2018-09-29 15:13:35
6483
原创 Hadoop基本原理
Hadoop是一个分布式系统，数据分布在Datanode上，在进行存储的时候，由Namenode选择哪一个Datanode进行存储.NameNode是文件系统的管理节点。NameNode：用于维护整个文件系统和响应用户请求，记录数据块保存节点。 启动NameNode后，会对每个DataNode进行扫描，将Datanode信息保留到内存中。 fsimage记录了最后一次检查点之前HDFS文件...
2018-08-02 16:47:36
296
原创 Windows下 Python 安装pip
点击打开链接下载后在下载目录下 运行python get-pip.py安装 pip 如果没有 setuptools wheel 也会一并安装安装完成后运行pip --version如果没有出现这样的显示，可能是环境变量没有添加步骤如下：1、找到python目录下的Scripts目录(没有的就是没有安装成功)我的是 C:\Program Files\python\Scripts2、将目...
2018-05-10 10:34:49
425
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人