- 博客(8)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 hadoop学习(六)----HDFS的shell操作
HDFS所有命令：[uploaduser@rickiyang ~]$ hadoop fsUsage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...]
2017-11-30 16:40:24
289
原创 python3学习-requests使用
前面我们讲过了urllib模块，知道他是用于网络请求的，这一节讲的requests还是用于网络请求的，只不过urllib是官方模块，而requests是第三方的模块。用过的人都说他才是’人类使用的’，哈哈，我也没觉得urllib有多么尿性啊！下面我们试着回归人类的生活吧。这是第三方的模块，所以需要手动安装，安装过程在此不表，请度娘查之。1.首先我们导入模块：import requests2.请求u
2017-11-27 19:53:53
9519
原创 python3学习-Queue模块
python标准库中带有一个Queue模块，顾名思义，队列。该模块也衍生出一些基本队列不具有的功能。我们先看一下队列的方法： put 存数据 get 取数据 empty 判断队列是否为空 qsize 显示
2017-11-27 19:52:13
11199
原创 python3学习-pickle模块
pickle提供了一个简单的持久化功能。可以将对象以文件的形式存放在磁盘上。基本接口：pickle.dump(obj, file, [,protocol]) 注解：将对象obj保存到文件file中去。 protocol为序列化使用的协议版本，0：ASCII协议，所序列化的对象使用可打印的ASCII码表示；1：老式的二进制协议；2：2.3版本引入的新二进制协议，较以前的更高效。其中协议0和1兼容老版
2017-11-27 19:50:51
744
原创 python3学习-lxml模块
在爬虫的学习中，我们爬取网页信息之后就是对信息项匹配，这个时候一般是使用正则。但是在使用中发现正则写的不好的时候不能精确匹配（这其实是自己的问题！）所以就找啊找。想到了可以通过标签来进行精确匹配岂不是比正则要快。所以找到了lxml。因为lxml是对xml格式的解析，支持html格式，而对于xml格式的解析有一门专用的语言，XPath。XPath用于在xml文档中通过元素和属性进行导航。lxml库也是
2017-11-27 19:48:58
4070
原创 python3学习-logging模块
1.logging模块的使用非常简单，引入模块就可以使用。import logginglogging.debug('This is debug message')logging.info('This is info message')logging.warning('This is warning message')屏幕上打印:WARNING:root:This is warning mess
2017-11-27 19:45:44
3458
原创 hadoop学习(二)----HDFS简介及原理
前面简单介绍了hadoop生态圈，大致了解hadoop是什么、能做什么。带着这些目的我们深入的去学习他。今天一起看一下hadoop的基石—-文件存储。因为hadoop是运行与集群之上，处于分布式环境之中，所以他的文件存储也不同与普通的本地存储，而是分布式存储系统，HDFS（The Hadoop Distributed File System）。因为数据量越来越大，一台机器管理的磁盘数量是有限的，所有
2017-11-27 11:06:51
525
原创 hadoop学习(一)----概念和整体架构
程序员就得不停地学习啊，故步自封不能满足公司的业务发展啊！所以我们要有搞事情的精神。都说现在是大数据的时代，可以我们这些码农还在java的业务世界里面转悠呢。好不容易碰到一个可能会用到大数据技术的场景时可惜你又没这个技术把这一票接下来！书到用时方恨少。所以我们也要与时代同进步，搞搞大数据。分布式的基础架构现在有hadoop和spark。虽然spark目前比较火，但是国内大厂因为最开始学习大数据的先锋
2017-11-27 10:52:20
1049
高可用MySQL（第2版）
2017-11-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人