- 博客(12)
- 收藏
- 关注
RSS订阅原创 python爬虫实现豆瓣数据的爬取
本文利用urllib在python3.7的环境下实现豆瓣页面的爬取！用到的包有urllib与re两个模块，具体实现如下！import urllib.requestimport reimport sslurl = "https://read.douban.com/provider/all"def doubanread(url): ssl._create_default_...
2019-05-26 22:02:09
2057
原创 分布式文件系统HDFS原理篇
所谓分布式文件系统就是通过网络实现文件在多台主机上进行分布式存储的文件系统！它一般采用“客户端/服务器端”的模。分布式文件系统的结构如下图所示，分布式文件系统在物理结构上是由计算机集群的多个节点构成的。这些节点分为主节点（Namenode,也叫做名称节点）和从节点（Datanode，也叫做数据节点）。其中主节点负责文件和目录的创建、删除和重命名等，同时管理着从节点和文件块的映射关系，因此客...
2019-05-26 03:10:01
5626
原创 python网络编程基础
网络架构网络中我们采用客户端/服务器结构的方式，其中服务器就是为一个或多个客户端提供服务，它唯一的目的就是等待客户端的请求，并响应请求，然后等待更多的请求；而客户端因特定的请求而联系服务器，并发送数据，然后等待服务器的回应，最后完成请求或给出故障的原因。套接字网络编程的一个基本组件是套接字（socket）。最初它是为同一个主机上的应用程序所创建，也就是应用在进程间的通信上面。今天我们要...
2019-05-22 19:10:25
210
原创 python爬虫实现贴吧表情包的爬取
本文利用urllib在python3.7的环境下实现贴吧表情包的爬取！用到的包有urllib与re两个模块，具体实现如下！import urllib.requestimport reimport sslurl = "https://tieba.baidu.com/p/5059180075?red_tag=0069685467"def baidu(url): ssl._...
2019-05-18 23:04:02
461
原创 子网掩码的计算方法
一、利用子网数来计算在求子网掩码之前必须先搞清楚要划分的子网数目，以及每个子网内的所需主机数目。1)将子网数目转化为二进制来表示2)取得该二进制的位数，为 N3)取得该IP地址的类子网掩码，将其主机地址部分的的前N位置 1 即得出该IP地址划分子网的子网掩码。如欲将B类IP地址168.195.0.0划分成27个子网：1)27=110112)该二进制为五位数，N = 5...
2019-05-18 17:20:19
6727
原创 HTTPS原理解析
基本概念1、HTTP 协议（HyperText Transfer Protocol，超文本传输协议）：是客户端浏览器或其他程序与Web服务器之间的应用层通信协议 。2、HTTPS 协议（HyperText Transfer Protocol over Secure Socket Layer）：可以理解为HTTP+SSL/TLS， 即 HTTP 下加入 SSL 层，HTTPS 的安全基础是 ...
2019-05-18 17:18:31
210
原创 TCP与UDP的区别与联系
TCP协议TCP协议全称传输控制协议，就是对传输过程中的数据有一定的控制！我们来看看它的包头的样子！我们来分析分析每部分的含义和作用：源端口号/目的端口号: 表示数据从哪个进程来, 到哪个进程去.32位序号:4位首部长度: 表示该tcp报头有多少个4字节(32个bit)6位保留: 顾名思义, 先保留着, 以防万一6位标志位URG: 标识紧急指针是否有效AC...
2019-05-18 17:16:15
24928
5
原创 python lamdba表达式详解
简单来说，编程中提到的 lambda 表达式，通常是在需要一个函数，但是又不想费神去命名一个函数的场合下使用，也就是指匿名函数。我们看下面这个例子！返回一个序列的平方。def f(x): return x*xlis = list(map(f,[y for y in range(10)]))print(lis)上面这个例子如果我们用lamdba来实现的话，只需要如下所示！...
2019-05-14 18:23:21
920
原创 列表与元组进阶篇
内置序列类型分类大部分书里面，我们的序列都是被分为可变序列和不可变序列，其中可变序列有list/bytearray/array.array/collections.deque/memoryview，而不可变序列有tuple/str/bytes。内置序列可以分为容器序列和扁平序列，其中容器序列是它们所包含的任意类型的对象是引用，而扁平序列里存放的是值；而且屏边序列是一段连续的内存空间。其实区...
2019-05-13 17:20:21
199
原创 python多线程浅析
线程与进程操作系统原理相关的书，基本都会提到一句很经典的话： "进程是资源分配的最小单位，线程则是CPU调度的最小单位"。线程是操作系统能够进行运算调度的最小单位。它被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同的任务。进程和线程的区别主要有：1、进程之间是相互独立的，多进程中，同一个变量，各自有...
2019-05-10 19:07:12
300
原创 python的with语句浅析
with语句是在python2.5开始引进的一种与异常处理相关的功能。在讲with语句之前，先说说上下文管理器，因为使用上下文管理器最广泛的就是with语句了。基本概念上下文管理协议（Context Management Protocol）：包含方法 __enter__() 和 __exit__()，支持该协议的对象要实现这两个方法。上下文管理器（Context Manager）：支持...
2019-05-09 23:37:24
269
原创 python元类浅析
一切皆对象在python中，一切皆对象，不管是数字、字符串、列表、元组、字典。都是对象。例如：i = 10s = "asd"nums = [1,2,3]dict = {"asd":"qwe"}tup = (2,4,6,8)print(type(i))print(type(s))print(type(nums))print(type(dict))print(type(t...
2019-05-09 17:13:00
137
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人