- 博客(4)
- 收藏
- 关注
RSS订阅原创 2020-12-09
简单来讲，爬虫就是一个探测机器，它的基本操作就是模拟人的行为去各个网站溜达，点点按钮，查查数据，或者把看到的信息背回来。就像一只虫子在一幢楼里不知疲倦地爬来爬去。一、爬虫的「骚操作」爬虫也分善恶。像谷歌这样的搜索引擎爬虫，每隔几天对全网的网页扫一遍，供大家查阅，各个被扫的网站大都很开心。这种就被定义为「善意爬虫」。但是，像抢票软件这样的爬虫，对着 12306 每秒钟恨不得撸几万次。铁总并不觉得很开心。这种就被定义为「恶意爬虫」。（注意，抢票的你觉得开心没用，被扫描的网站觉得不开心，它就是恶意的。）
2020-12-09 21:08:58
103
原创 2020-11-17
HDFS的全称是Hadoop Distributed File System易于扩展的分布式文件系统，运行在大量普通廉价机器上，提供容错机制，为大量用户提供性能不错的文件存取服务整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持，并通过MR来实现对分布式并行任务处理的程序支持。HDFS采用主从(Master/Slave)结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的(在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通
2020-11-17 18:58:16
76
原创 2020-11-10
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了
2020-11-10 14:35:11
88
原创 2020-10-27
今天第一次上大数据课，让我收获很多，知道了大数据的原理。大数据是巨量数据的集合，它来源于海量用户的一次次的行为数据，是一个数据集合。但大数据的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。这节课让我知道了，大数据具有4v特征，容量最小的单位是bit，而且容量大小排序为:bit、B、KB、MB、GB、TB、PB、EB、ZB、ZB、YB、BB、NB、DB。并知道了大数据与物联网，云计算，人工智能的关系。大数据本身的价值不在于“大”，而在于“有用”，价值含量和挖掘成本比数量
2020-10-27 18:47:43
153
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人