云计算与大数据
beyond_upup
这个作者很懒,什么都没留下…
展开
-
Openstack部署及keystone.glance组件安装
Openstack部署一.安装Openstack首先,配置IP[html] view plain copy#network Management auto eth0 iface eth0 inet static address 10.80.80.10 netmask 255.255.255.0 #network l...原创 2018-06-09 21:37:56 · 431 阅读 · 0 评论 -
数据缺失值处理之missingno模块
数据缺失值处理之missingno模块文章开始把我喜欢的这句话送个大家:这个世界上还有什么比自己写的代码运行在一亿人的电脑上更酷的事情吗,如果有那就是让这个数字再扩大十倍!import missingno as msnomsno.matrix(data, labels=True)#无效数据密度显示msno.bar(data...原创 2018-10-11 19:43:59 · 4693 阅读 · 0 评论 -
ubuntu 18.04下配置Hadoop 3.0.3
ubuntu 18.04下配置Hadoop 3.0.31.安装虚拟机设置Ubuntu操作系统(网上教程很多不再讲述)2.安装SSH,设置SSH无密码登陆$ sudo apt-get install openssh-server #安装SSH server$ ssh localhost #登陆SSH...原创 2018-07-07 19:27:50 · 5153 阅读 · 5 评论 -
浅谈HDFS读写数据过程内部原理
深入理解HDFS读写数据过程内部原理原创 2018-05-28 10:00:39 · 1792 阅读 · 0 评论 -
分页分段以及段页式存储管理中逻辑地址到物理地址的转换过程解析
分页存储管理中逻辑地址到物理地址的转换过程解析首先要知道,物理地址=块号+页内地址 逻辑地址=页号+页内地址所以物理地址和逻辑地址后面部分是相同的,即都为页内地址。下面以一个例子说明如何由逻辑地址求物理地址首先是分页存储(1)某虚拟存储器的用户编程空间共64个页面,每页为1KB,内存为16KB。假定某时刻一...原创 2018-05-29 17:48:22 · 54947 阅读 · 5 评论 -
浅谈HBASE典型函数内部原理
深入理解HBASEHBase无法轻易建立“二级索引”,难以执行求和、计数、排序等操作这一特性一直被大家诟病,也确有许多不便,于是,HBase在0.92之后引入了协处理器(coprocessors),实现一些激动人心的新特性:能够轻易建立二次索引、复杂过滤器以及访问控制等。 协处理器即相当于基于 ReginServer-Ma...原创 2018-05-29 18:31:04 · 632 阅读 · 0 评论 -
NoSQL之MongoDB
NoSQL之MongoDBNoSQL数据库中的文档数据库中最为典型的也是目前应用最为广泛的当属MongoDB了。文档数据库本质上也是一个键值数据库,因为其数据格式为JSON,不同的是文档数据库将一个对象所有的相关信息存储与一个collection中,因此避免了跨表连接有高并发的特点,文档数据库是所有的NoSQL中与SQL最相像的...原创 2018-05-30 07:27:38 · 418 阅读 · 0 评论 -
UMP系统架构
UMP系统架构 UMP(Unified MySQL Platform)是由阿里集团核心系统数据库团队设计与实现的,提供低成本和高性能的MySQL云数据服务。他的四大特点是:单一访问入口多管家消除单点故障弹性动态增加资源隔离UMP系统架构(1)Mnesia:分布式数据库管理系统Mnesia运行在controll...原创 2018-05-30 07:50:08 · 15529 阅读 · 0 评论 -
MapReduce之combiner及partitioner
MapReduce函数重要代码解析//Map()class MyMapper extends Mapper<object,Text,IntWritable>//MyMapper 继承内部类Mapper{ private Text word=new Text(); private IntWritable(1); ...原创 2018-05-30 10:57:49 · 498 阅读 · 0 评论 -
爬取链家网北京房源及房价分析
爬取链家网北京房源及房价分析文章开始把我喜欢的这句话送个大家:这个世界上还有什么比自己写的代码运行在一亿人的电脑上更酷的事情吗,如果有那就是让这个数字再扩大十倍1.数据获取# 获取某市区域的所有链接def get_areas(url): print('start grabing areas') headers = { ...原创 2018-10-14 10:16:29 · 1131 阅读 · 1 评论