Y_321_123-CSDN博客

原创 node.js的安装

Node.js是一个Javascript运行环境，使Javascript在服务端运行下面我们就来看一下Node.js如何安装：32 位安装包下载地址 : https://nodejs.org/dist/v4.4.3/node-v4.4.3-x86.msi64 位安装包下载地址 : https://nodejs.org/dist/v4.4.3/node-v4.4.3-x64.msi第...

2018-08-29 22:34:30 218

原创 python之简单Scrapy分布式爬虫的实现

分布式爬虫：爬虫共用同一个爬虫程序，即把同一个爬虫程序同时部署到多台电脑上运行，这样可以提高爬虫速度。在默认情况下，scrapy爬虫是单机爬虫，只能在一台电脑上运行，因为爬虫调度器当中的队列queue去重和set集合都是在本机上创建的，其他的电脑无法访问另外一台电脑上的内存的内容；想要让多台机器共用一个queue队列和set集合，可以让scrapy结合scrapy_redis来完成。要实现...

2018-08-16 23:19:20 1557

原创 python中Redis的下载安装

Redis 是完全开源免费的，是一个高性能的、遵守BSD协议的key-value数据库。Redis数据特点：优点：默认使用持久化数据方式；体积小，使用方便；如果存储数据量比较大的话，启动速度很快；数据库中的数据和内存的数据可以相互访问缺点：从安全性的角度来说，持久化可能会崩溃，造成数据丢失Redis下载地址：https://github.com/MicrosoftAr...

2018-08-15 21:27:26 1626

PhantomJS是一个基于webkit的JavaScript API。它使用QtWebKit作为它核心浏览器的功能，使用webkit来编译解释执行JavaScript代码。它不仅是个隐形的浏览器，还提供了诸如CSS选择器、支持Web标准、DOM操作、JSON、HTML5、Canvas、SVG等，同时也提供了处理文件I/O的操作，从而使你可以向操作系统读写文件等。PhantomJS的用处可谓非常广...

2018-08-09 22:22:03 185

原创 MySQL Workbench安装和基础知识以及在pycharm中的简单应用

MySQL Workbench是MySQL AB发布的可视化的数据库设计软件，为数据库管理员、程序开发者和系统规划师提供可视化设计、模型建立、以及数据库管理功能。1、MySQL Workbench的安装MySQL Workbench的官方下载地址：https://dev.mysql.com/downloads/workbench/安装包下载完成之后双击安装包开始安装选择接受许...

2018-08-08 21:48:08 1266

原创 python之scrapy的使用和获取标签内部全部文本的四种方式

在使用爬虫爬取数据的时候，经常需要获取标签内的文本，下面向大家介绍四种获取文本的方式（以小说吧中的一篇帖子为例，链接为：https://tieba.baidu.com/p/5806279867）：第一步：打开终端，在指定文件夹下创建一个新的项目，并且按照提示输入两个命令第一个命令进入tieba这个文件夹第二个命令创建一个名字为sto...

2018-08-04 18:00:13 12790

原创 python基础知识之异常处理

# 异常处理：提前先将可能会引起错误的代码放入到捕获异常代码块当中，# 一旦发生错误，不会影响后续代码的执行try: list = [1, 2, 3, 4, 5] print(list[100]) dic = {'name':'张三'} # print(dic['age'])except KeyError as e: prin...

2018-08-01 22:22:56 192

原创 python基础知识之时间处理

import time# time.struct_time结构体time1 = time.localtime()print(time1)time2 = time.time()# 从1970年到现在的秒数print(time2)# 从1970年开始往后指定的秒数time3 = time.localtime(1531274000)print(time3)result = t...

2018-08-01 22:15:28 199

原创 python之scrapy的认识和安装

Scrapy是python开发的一个为了爬取网站数据，提取结构性数据而编写的应用框架。我们在使用的时候只需要定制开发几个模块就可以轻松的实现一个爬虫，使用非常方便。Scrapy使用了Twisted异步网络框架来处理网络通讯，可以加快下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。Scrapy主要包括了7个组件：引擎(Scrapy)负责处理组件间的通信...

2018-08-01 21:58:57 234

原创 python之selenium入门（二）

上一篇文章中介绍了如何使用网页驱动来运行浏览器以及如何找元素（以Firefox和百度首页为例），这篇文章将会介绍如何登陆以及其他的一些操作。（一）、selenium登陆（以Firefox为例）from selenium import webdriver#使用网页驱动来运行火狐浏览器driver = webdriver.Firefox()#XXXXX部分为登陆界面的网址链接dri...

2018-07-31 22:17:42 267

原创 python之selenium入门（一）

昨天我写了关于selenium的安装，今天就介绍一下selenium的一些基础命令在使用selenium的时候要先引用网页驱动from selenium import webdriver下面以Firefox浏览器为例和百度首页来介绍一些selenuim基本命令：# 使用网页驱动来运行火狐浏览器driver = webdriver.Firefox()# 通过驱动来执行指定的网...

2018-07-31 21:29:53 321

原创 python基础知识之break，continue，return

在循环中达到某一条件时，我们需要跳出这个循环，在这个时候我们就可以使用break，continue，return这三者的使用，和区别如下：break：count = 0while True: count += 1 if count >= 10: break print(count)这段代码的执行结果为：1 2 3 4 5 6 7 8...

2018-07-30 20:27:53 356

原创 python基础知识之while和for循环

因为之前有点忙，所以没有更新，之后会继续更新python基础知识。我们在写代码的时候会遇到很多需要循环执行的条件，这个时候就可以使用while循环，当然while循环不是唯一的选择。 while后面的判断条件如果为真，那么那么里面的代码块会一直执行，直到程序结束或者跳出循环或者条件为假例如：age = 1while age < 18: pri...

2018-07-30 20:08:52 197

原创 python中selenuim的安装

selenuim是一个自动化测试工具在python中，selenium可以完全模拟人对浏览器操作，对动态数据进行获取，动态数据由代码生成，在页面初始化的过程中是没有的，也无法获取，但是可以通过selenium来进行获取;另外，有些数据是需要进行登录以后才能获取的，比如说好友列表，评论，消费记录··· 登录以后获取cookie 才能进行以上的操作，但是使用selenium以后，可以避免人工登...

2018-07-30 19:54:42 562

原创 Python错误记录

# 第一种：str = 'Hello World'# print(str[20])# IndexError: string index out of range# 索引错误：字符串超出范围# 解决方法：索引小于字符串的长度print(str[4]) # o# 第二种：list = ['a','b','c','d','e']# print(list[20])# IndexE...

2018-07-10 20:45:11 567 1

Y_321_123的博客