2017年08月_rotation ㅤ

原创 Python3爬虫实战之爬取京东图书图片

假如我们想把京东商城图书类的图片类商品图片全部下载到本地，通过手工复制粘贴将是一项非常庞大的工程，此时，可以用Python网络爬虫实现，这类爬虫称为图片爬虫，接下来，我们将实现该爬虫。首先，打开要爬取的第一个网页，这个网页将作为要爬取的起始页面。我们打开京东，选择图书分类，由于图书所有种类的图书有很多，我们选择爬取所有编程语言的图书图片吧，网址为：https://list.jd.com/list.h

2017-08-18 11:48:48 7685 11

原创 Python3爬虫代理服务器与cookie的使用

代理服务器的设置有时使用同一个IP去爬取同一个网站上的网页，久了之后会被该网站服务器屏蔽。那么怎么解决这个问题呢？解决的方法很简单，就是使用代理服务器。使用代理服务器去爬取某个网站的内容的时候，在对方的网站上，显示的不是我们真实的IP地址，而是代理服务器的IP地址。并且在Python爬虫中，使用代理服务器设置起来也很简单。给大家推荐一个网址，http://www.xicidaili.co

2017-08-17 20:20:58 10430 2

原创 Python3之urllib库的使用总结

Urllib库是Python中的一个功能强大、用于操作URL，并在做爬虫的时候经常要用到的库。在Python2.x中，分为Urllib库和Urllin2库，Python3.x之后都合并到Urllib库中，使用方法稍有不同。本文介绍的是Python3中的urllib库。什么是Urllib库Urllib是Python提供的一个用于操作URL的模块，我们爬取网页的时候，经常需要用到这个库。升级合并后，模块

2017-08-16 22:45:07 60505 5

原创 Python正则表达式的使用

正则（Regular Expression）表达式，又称规则表达式。正则表达式是一种用来匹配字符串的强有力的武器。它的设计思想是用一种描述性的语言来给字符串定义一个规则，凡是符合规则的字符串，我们就认为它“匹配”了，否则，该字符串就是不合法的。在介绍python中正则表达式的使用之前，先介绍一下有关正则表达式的语法。正则表达式元字符介绍"^" ：^会匹配行或者字符串的起始位置，有时还会匹配整

2017-08-15 17:23:48 2263

原创 Python类的使用总结

Python是一个面向对象的解释型语言，所以当然也有类的概念。在Python中，所有数据类型都可以视为对象，当然也可以自定义对象。自定义的对象数据类型就是面向对象中的类（Class）的概念。之前接触类的概念是在学习C++时，现在学习了python后，觉得两者还是有很大的区别的。面向对象的思想是一样的，但是python做为更高级的语言，在类的定义与使用方便更加简便。类的定义Python中，定义

2017-08-11 10:41:47 35546 6

原创 Python闭包与装饰器总结

闭包在计算机科学中，闭包（Closure）是词法闭包（Lexical Closure）的简称，是引用了自由变量的函数。这个被引用的自由变量将和这个函数一同存在，即使已经离开了创造它的环境也不例外。python中的闭包从表现形式上定义（解释）为：如果在一个内部函数里，对在外部作用域（但不是在全局作用域）的变量进行引用，那么内部函数就被认为是闭包(closure)。在Python中，我们可以在函

2017-08-10 15:31:44 1006

原创 Python高阶函数map&reduce&filter总结

在Python中，函数名其实就是指向函数的变量，我们可以将一个变量指向一个函数。既然变量可以指向函数，函数的参数能接收变量，那么一个函数就可以接收另一个函数作为参数，这种函数就称之为高阶函数。mapmap()函数接收两个参数，一个是函数，一个是Iterable，map将传入的函数依次作用到序列的每个元素，并把结果作为新的Iterator返回。比如我们有一个函数f(x)=x2，要把这个函数作用在一

2017-08-09 22:18:04 1623

原创 Python生成器与迭代器的总结

列表生成式举个例子，要生成list [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]可以用list(range(1, 11))：>>> list(range(1, 11))[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]但如果要生成[1x1, 2x2, 3x3, …, 10x10]怎么做？方法一是循环：>>> L = []>>> for x in range(1, 1

2017-08-08 16:20:51 970

原创 Python切片与迭代总结

在Python中，代码不是越多越好，而是越少越好。代码不是越复杂越好，而是越简单越好。所以Python提供了很多有用的高级特性，灵活运用这些特性，可以减少我们很多代码量。切片取一个list或tuple的部分元素是非常常见的操作。比如，一个list如下：>>> L = ['Michael', 'Sarah', 'Tracy', 'Bob', 'Jack']取前3个元素，应该怎么做？最麻烦的方法：>>>

2017-08-08 15:50:03 1867

原创 Python函数的用法总结

调用函数：Python内置了很多有用的函数，我们可以直接调用。要调用一个函数，需要知道函数的名称和参数，比如求绝对值的函数abs，只有一个参数。可以直接从Python的官方网站查看文档： http://docs.python.org/3/library/functions.html#abs。也可以在交互式命令行通过help(函数名)查看指定函数的帮助信息。Python内置的常用函数还包

2017-08-07 19:52:10 3534

原创 Python3基础语法总结

Python是一种面向对象的解释型计算机程序设计语言，Python的定位是“优雅”、“明确”、“简单”。在此记录一下自己学习刚学python时，一些基础语法的使用。假设读者有c语言基础。Python的语法比较简单，采用缩进方式，写出来的代码就像下面的样子：a = 100if a >= 0: print(a)else: print(-a)在python中，以#开头的语句是注释。其他

2017-08-07 16:39:44 1907

原创 C++11有关线程同步的使用

互斥量和条件变量是控制线程同步的常用手段，用来保护多线程同时访问的共享数据。 c++11提供了这些操作，同时还提供了原子变量和一次调用的操作，用起来非常的方便。我们在这里只介绍如何在C++中使用这些同步机制，有关概念的介绍我们就不在这里多说了。互斥量C++11中提供了如下4种语义的互斥量(mutex):std::mutex：独占的互斥量，不能递归使用。std::timed_mutex：带超

2017-08-04 15:50:05 6204 1

原创 C++11多线程的使用

C++11之前，C++语言没有对并发编程提供语言级别的支持，这使得我们在编写可移植的并发程序时，存在诸多不便。现在C++11增加了线程以及线程相关的类，很方便地支持了并发编程，使得编写的多线程程序的可移植性得到了很大提高。有关线程的概念及相关知识，我们在这里就不再提了，只讲一下在C++下如何创建和使用线程。C++11提供了线程的类，由于C++封装的特性，使得我们使用封装好的类有关线程操作非常的简便。

2017-08-04 10:18:17 1851

原创 Linux进程间通信之POSIX共享内存

共享内存是最高效的IPC机制，因为它不涉及进程之间的任何数据传输。这种高效率带来的问题是，我们必须用其他辅助手段来同步进程对共享内存的访问，否则会产生竞态条件。因此，共享内存通常和其他进程间通信方式一起使用。 Linux下有三种共享内存的IPC技术：System V共享内存、共享文件映射(mmap)、POSIX共享内存。我们在这里只介绍POSIX共享内存。要使用POSIX共享内存对象需要完成下

2017-08-02 21:15:34 2695

原创 Linux进程间通信之POSIX信号量

当多个进程同时访问系统上的某个资源的时候，就需要考虑进程的同步问题，以确保任一时刻只有一个进程可以拥有对资源的独占式访问。POSIX信号量不仅可以用于进程之间的同步，也可以用于线程之间的同步。概述SUSv3规定了两种类型的POSIX信号量。命名信号量：这种信号量拥有一个名字。通过使用相同的名字调用sem_open()，不相关的进程能够访问同一个信号量。未命名信号量：这种信号量没有名字，相反，它位

2017-08-01 10:33:37 2009

rotation博客