![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
qq_51993904
这个作者很懒,什么都没留下…
展开
-
2020-12-09
简单来讲,爬虫就是一个探测机器,它的基本操作就是模拟人的行为去各个网站溜达,点点按钮,查查数据,或者把看到的信息背回来。就像一只虫子在一幢楼里不知疲倦地爬来爬去。一、爬虫的「骚操作」爬虫也分善恶。像谷歌这样的搜索引擎爬虫,每隔几天对全网的网页扫一遍,供大家查阅,各个被扫的网站大都很开心。这种就被定义为「善意爬虫」。但是,像抢票软件这样的爬虫,对着 12306 每秒钟恨不得撸几万次。铁总并不觉得很开心。这种就被定义为「恶意爬虫」。(注意,抢票的你觉得开心没用,被扫描的网站觉得不开心,它就是恶意的。)原创 2020-12-09 21:08:58 · 131 阅读 · 0 评论 -
2020-11-17
HDFS的全称是Hadoop Distributed File System易于扩展的分布式文件系统,运行在大量普通廉价机器上,提供容错机制,为大量用户提供性能不错的文件存取服务整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持,并通过MR来实现对分布式并行任务处理的程序支持。HDFS采用主从(Master/Slave)结构模型,一个HDFS集群是由一个NameNode和若干个DataNode组成的(在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通原创 2020-11-17 18:58:16 · 104 阅读 · 0 评论 -
2020-11-10
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了原创 2020-11-10 14:35:11 · 96 阅读 · 0 评论 -
2020-10-27
今天第一次上大数据课,让我收获很多,知道了大数据的原理。大数据是巨量数据的集合,它来源于海量用户的一次次的行为数据,是一个数据集合。但大数据的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。这节课让我知道了,大数据具有4v特征,容量最小的单位是bit,而且容量大小排序为:bit、B、KB、MB、GB、TB、PB、EB、ZB、ZB、YB、BB、NB、DB。并知道了大数据与物联网,云计算,人工智能的关系。大数据本身的价值不在于“大”,而在于“有用”,价值含量和挖掘成本比数量原创 2020-10-27 18:47:43 · 158 阅读 · 0 评论