排序:
默认
按更新时间
按访问量

协程+selenium爬取京东,保存为txt文件

协程用的不多,但是也是实现并发的一种方式,协程的特点是,在执行的过程中,如果遇到需要等待的时候,会自动切换到另外一个协程中执行,本次是用协程的特点,实现一个并发的爬虫。首先,创建一个协程执行的函数,如:函数参数的含义:url : 爬取的网站连接start:爬取的起始页(每个协程中爬取的起始页都不相...

2018-05-17 21:16:39

阅读数:6

评论数:0

Scrapy+Mysql实现的一个小项目,爬取新片场中的小视频的内容

本项目爬取的是新片场的小视频,起始的url为: http://www.xinpianchang.com/channel/index/sort-like总共有三层页面,分别是:1、首页面,如下:2、视频的详细页面,如下:3、创作者的页面,如下:该项目实现的就是把这三层页面中重要的信息都爬取下来,然后...

2018-05-14 20:42:29

阅读数:32

评论数:0

windos下启动redis出现:No such file or directory错误的解决

之所以会出现这个问题,是因为redis服务器已经启动了,可以输入如图的命令进行测试redis-cli是启动redis的客户端,如果没有把配置环境变量,就需要进入到redis的安装目录下才能运行此命令,要不然会出错。如果在redis的客户端输入ping,能够返回PONG,就证明redis服务器已经启...

2018-04-13 12:01:41

阅读数:77

评论数:0

python+selenium+PhantomJS爬取唯品会

由于唯品会是利用js动态生成html作为反爬机制,所以不能用以前的爬取html的方法进行爬取,本程序是用selenium+PhantomJS对唯品会进行爬取,可以根据需要输入要爬取的商品,还有爬取的起始页和结束页。程序代码以及注释的内容如下:from time import sleep impor...

2018-04-10 16:49:19

阅读数:2

评论数:0

Python爬取智联招聘职位信息

from urllib import request from urllib import parse from bs4 import BeautifulSoup import csv # 管理json数据的模块的 import json # 定义智联的爬虫类 class ZhiLianSpid...

2018-04-09 12:00:23

阅读数:85

评论数:0

Flask第一天学习

import timefrom flask import Flask, render_template, request, make_response, redirect, url_for, abort, sessionfrom flask_script import Manager# 导入蓝本f...

2018-03-26 20:23:40

阅读数:17

评论数:0

Ubuntu16中的常用命令详解

2、常用的命令 (1)、安装软件和卸载软件 安装:sudoapt install 软件名 卸载:第一种:sudoapt remove 软件名 第二种:sudoapt --purge remove 软件名 这两种的区别在于第一种只是仅仅的卸载软件,而对于该软件的配置文...

2018-03-03 15:10:29

阅读数:29

评论数:0

Ubuntu16中修改了/etc/passwd后只能以客人身份登录问题的解决

如果在使用Ubuntu的过程中,想通过修改/etc/passwd中自己对应的用户的权限为0来提高用户权限的,在重启之后只能通过客人会话登录Ubuntu了,别慌,解决方法如下:1、在客人会话登录页面 按 Ctrl+Alt+F1(不同类型的电脑可能不同,一般都是F1-F6)2、输入你原来的用户名,回车...

2018-03-01 21:23:48

阅读数:347

评论数:1

Ubuntu16上安装NFS文件系统

  (1)、安装服务端       打开终端(快捷方式 Shift+Alt+t),输入命令 sudo apt install nfs-kernel-server       安装完成后,就配置分享的文件           sudo vim /etc/exports (nfs的配置文件)     ...

2018-02-28 13:48:32

阅读数:21

评论数:0

Win10+Ubuntu16强制删除Ubuntu所在的盘后出现grub rescue 问题的解决方法

当电脑上安装了win10+Ubuntu的双系统时,加入不小心在win10系统中删除或者格式化了Ubuntu所在的盘时,重新启动会出现以下的错误,导致一直无法重新启动电脑解决如下,准备一个U盘启动盘(PE系统)的,把U盘插进电脑后,重新启动,选则PE系统进入,然后再进入修复系统引导点击自动修复,等待...

2018-02-28 12:57:27

阅读数:186

评论数:0

Python线程编程已及内存共享问题

from threading import Thread import threading """ 问题:多线程共享内存问题,当多个线程操作同一个数据的时候,就会出现数据错乱的问题 例: (1)num += 2 -----> num = num + 2 ...

2018-02-06 21:38:26

阅读数:22

评论数:0

Python线程池编程和参数的传递

from time import sleep import threadpool def eat(a,b,c): print("%s请%s吃%s"%(a,b,c)) sleep(2) """ 线程中的传参形式 [(args,k...

2018-02-06 21:36:28

阅读数:28

评论数:0

Python的进程池编程

from multiprocessing import Pool def function(i): # print("%d子进程%d开启:"%(i,os.getpid())) # # sleep(random.choice([2,4,6,8])) ...

2018-02-06 21:35:08

阅读数:22

评论数:0

Python实现爬取京东网页的图片

import random from urllib import request import re import os import time import threadpool def getAmason(i,j): agentsList = [ "Mo...

2018-02-06 21:33:41

阅读数:27

评论数:0

javascript实现表格的动态添加

在开发的过程中,可能需要实现表格的动态添加,例如在大学里的选课系统,当学生选择了一门课后,按下确定键后会实时在表格相应的位置打印一行选课信息表,这就是表格的动态添加,不多说废话了,直接上代码,在代码中会把思路和过程以注释的方式写在嵌套在代码中,希望各位看官请勿介意: //...

2018-02-04 15:37:18

阅读数:25

评论数:0

JavaScript利用计时器实现进度条(练习)

var intervalId; var count = 0; var widthNum = 0; onload=function () { var twoDiv = document.getElementById("two"); var threeDiv = docu...

2018-02-03 15:52:19

阅读数:77

评论数:0

JavaScript实现计时器,一个按钮实现开始和停止的功能

var intervalId; var i = 0; var count=0; function startTime(){ var hour = document.getElementById("hour"); var minute = document.getEle...

2018-02-03 15:50:25

阅读数:142

评论数:0

JavaScript数组的操作

创建一个空的数组 var arr = new Array(); 创建长度为5的空的数组,只有一个元素时,会把这个元素当成数组的长度,从而创建一个长度为该元素的值的数组。  如果只有一个元素,而该元素又不是整型的数字时,会出现错误"Uncaught SyntaxError: Unex...

2018-02-01 20:30:23

阅读数:23

评论数:0

MongoDB的基础语句

1.启动mongodb服务,并设置数据存放位置    1.切换到对应为mongodb的bin目录位置(我的是在E盘) 1.切换盘符 e:  2.cd E:\mongodbinstall\bin 切换到bin目录    2.启动并设置mongodb数据的存放位置        1.格式: ...

2018-01-30 21:18:02

阅读数:28

评论数:0

MySQL基础语句

1.mysql的基本操作     1.开启mysql数据库服务       格式: net start mysql       如: net start mysql57     2.关闭mysql数据库服务       格式: net stop mysql       如:  net ...

2018-01-30 21:12:12

阅读数:103

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭