yaooye-CSDN博客

原创 ubuntu16.04 安装python3.6踩坑最新

下面方法已失效sudo add-apt-repository ppa:deadsnakes/ppa \&& sudo apt update \&& sudo apt install python3.6输出：E: Unable to locate package python3.6-devE: Couldn't find any package by glob 'python3.6-dev'E: Couldn't find any package by

2022-03-09 15:18:14 1567 6

原创 shell脚本直接执行没有问题，crontab定时执行失败的解决方法

先查看cron的日志(/var/log/cron)，看一下定时任务是否已经执行如果命令crontab已经执行1、如果是sh脚本的，直接在脚本的前面加上下面一句就OK了source /etc/profile2、如果是python的话source /etc/profile && python /myfile/myscript.py params...

2020-07-27 20:30:20 916

原创 Android 7以上版本https抓包

Android 7以上的Android 系统,App默认不信任用户证书,只信任系统证书.所以,要么在App的manifest上去设置信任某个证书,要么就只能把用户证书改为系统证书了. 第一种方法需要修改应用,不够通用,第二种方法只有root的手机才可以,而且系统版本不能是Android 9系统,要不然用户证书移到系统证书目录,但是一刷新又不见了,原因不明.具体过程如下:第一步,制作证书先让手机root 使用chrome浏览器下载Charles的证书,例如文件名为: charles-proxy-s

2020-07-13 19:37:57 1496 1

原创用frida突破SSL pinning抓包

python任意版本安装frida,手机端使用的mumu模拟器,其他的也可以pip install fridaadb 连接 mumu模拟器查看内核adb shell sucat /proc/cupinfo模拟器一般是x86居多根据cpu版本去下载相应frida-server，然后去下载https://github.com/frida/frida/releases相应的版本之后解压处理将文件push 进 /data/local/tmp 这个目录adb push

2020-07-13 18:28:00 4584

原创 PHPstudy 易于切换不同ip下的mysql

$server_hosts = array( '1' => array('server_name' => 'localhost', 'host' => '127.0.0.1', 'user'=>'', 'password' => ''), '2' => array('server_name' => '', 'host' => '', '...

2020-03-10 19:49:33 295

原创 Google Cloud远程ssh登录方法

1.切换到 rootsudo -i 12.编辑ssh配置文件vi /etc/ssh/sshd_config 13.修改以下内容即可PermitRootLogin yesPasswordAuthentication yes 1 24.重启sshservice sshd restart————————————————修改密码:...

2019-09-19 10:14:20 1663

原创 Docker打包应用部署

centos 安装docker其他操作系统自行百度Image 文件Docker把应用程序及其依赖打包在一个image文件里面,可以理解为一个容器的说明书. 通过这个image文件可以生成容器的实例.同一个image文件可以生成同时运行的多个实例.image文件是一个二进制文件,实际上,一个image文件往往继承自另外一个image文件,加上一些个性化设置而成.举例来说:你可以在ub...

2019-05-27 15:33:55 15932 2

原创 centos 安装python3.7

如果本机安装了python2，尽量不要管他，使用python3运行python脚本就好，因为可能有程序依赖目前的python2环境，比如yum！！！！！不要动现有的python2环境！一、安装python3.71. 安装依赖环境　　#yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite...

2019-05-20 17:42:49 2038

转载 pandas 菜鸟教程

一、生成数据表1、首先导入pandas库，一般都会用到numpy库，所以我们先导入备用：import numpy as npimport pandas as pd2、导入CSV或者xlsx文件：df = pd.DataFrame(pd.read_csv(‘name.csv’,header=1))df = pd.DataFrame(pd.read_excel(‘name.xlsx...

2019-05-09 17:27:21 38352 4

原创网易云音乐歌曲歌词下载

源码是去年用python写的,挺简单刚刚测了一下还能用import jsonimport requestsfrom random import choicefrom selenium import webdriverimport timefrom bs4 import BeautifulSoupimport reimport osfrom urllib impor...

2019-04-26 14:56:45 6889

原创突破淘宝对于selenium检测

去年11月之前淘宝对于selenium还是很友好的,后来selenium被检测了window.navigator.webdriver 等参数,出滑动验证码什么的,selenium已经很难用了, 网上大片教程都使用的pyppeteer 修改检测js参数去采集, 我也用了一段时间, 但是发现chromium占用内存太高,并且pyppeteer参数方法介绍太少,用起来不舒服,本文介绍了另一种方法:使用...

2019-04-19 15:27:31 6123 21

原创 python关于大众点评详情页核心数据抓取

大众点评页面手机号什么的不怕你看,也没弄中间号,而是做了前端svg混淆,有俩个方法,1,截图,用OCR识别2,代码判断(本篇使用)直接上代码"""author:yaoyedate : 2019-03-20"""import requestsfrom random import choicefrom bs4 import BeautifulSoupfrom lxm...

2019-03-21 09:37:41 1264

原创 scrapy + 人工智能给知乎小姐姐颜值打分

最近看知乎有的人虐狗总会贴上自己的女(百)票(度)的照骗,正好今天趁着38妇女节,抽时间来一波你的女票颜值到底多少分先去知乎找几个类似有个漂亮女朋友###的话题,找些评论多的,找知乎的评论接口很简单就不说了setting.pyROBOTSTXT_OBEY = FalseDOWNLOAD_DELAY = 2DEFAULT_REQUEST_HEADERS = { 'Ho...

2019-03-08 16:43:30 480

原创 builtins.TypeError: 'Rule' object is not iterable

使用Scrapy 提取器设置好规则rules = ( Rule(LinkExtractor(allow=r'type=4&page=\d+'), callback="parse_pages", follow=True))报了一个的错误,源码来看是要求为可迭代对象,加个逗号就行,Rule(LinkExtractor(allow='page='),call...

2019-03-04 16:59:21 1122

原创基于python发送邮件

生活中我们经常发送邮件，那么我们能不能用Python写一个自动发送邮件的功能呢？答案是肯定的！！！开始实现功能之前我们需要开启我们邮箱的 IMAP/SMTP功能，我们先了解一下什么是IMAP/SMTP。SMTP 的全称是“Simple Mail Transfer Protocol”，即简单邮件传输协议。它是一组用于从源地址到目的地址传输邮件的规范，通过它来控制邮件的中转方式。SMTP 协议...

2019-01-22 16:41:08 1189

转载如何解决selenium被检测，实现淘宝登陆

爬虫都会碰到某些网站刚刚打开页面就被判定为：非人类行为因为很多网站有对selenium的js监测机制。比如：navigator.webdriver，navigator.languages，navigator.plugins.length…… 美团，大众，淘宝这些大站点都有这种技术能力。。对window.navigator.webdriver的检测机制。正常情况下 window.na...

2018-12-29 13:52:03 23952 28

转载 Appium搭建五：安装Android模拟器

当Android SDK安装完成之后，并不意味着已经装好了安装模拟器。Android系统有多个版本，所以我们需要选择一个版本进行安装。　　这里不仅详细介绍了安装Android模拟器的整个过程，而且细致到每一步的安装内容和目的是什么，更好的理解Android模拟器可能需要用到的插件、环境等等。　　第三节安装Android 模拟器　　我这里以Android 4.4.2版本为例。（我是安...

2018-11-21 13:54:05 2167

转载 Appium搭建四：安装selenium+Appium-Python-Client

其他诸如python，pip这些安装就不说了为什么要安装Appium-Python-Client呢？至此，我们需要先了解一下安装Appium-Python-Client是用来干嘛的！　　Appium的实用方法都藏在Client的源码里，对于driver和webelement实例，均有对应的元素查找方法（webelement查找的是下面的子元素），有些儿专门针对手机的函数，则需要在这个Cli...

2018-11-21 13:53:22 4471

转载 Appium搭建三：安装Android开发环境

如果你的环境是MAC那么可以直接跳过这一节。就像我们在用Selenium进行web自动化测试的时候一样，我们需要一个浏览器来执行测试脚本。那么移动端自动化测试，我们同样需要一部Android手机（手机需要链接电脑）或者Android模拟器。安装java 环境众所周知，Android是由Java语言开发的，所以想开发Android应用首先需要Java环境，所以，我们首先需要安装Java...

2018-11-21 13:51:54 596

转载 Appium搭建二：安装Appium

web自动化测试的路线是这样的：编程语言基础--->测试框架--->webdriver API--->开发自动化测试项目。移动自动化的测试的路线要长一些：编程语言基础--->测试框架--->android/IOS开发测试基础---->appium API ----->开发移动自动化项目。=====================　　...

2018-11-21 13:51:10 329

转载 Appium搭建一：Node.js安装配置

Node.js安装包及源码下载地址为：https://nodejs.org/en/download/。你可以根据不同平台系统选择你需要的Node.js安装包。Node.js 历史版本下载地址：https://nodejs.org/dist/注意：Linux上安装Node.js需要安装Python 2.6 或 2.7 ，不建议安装Python 3.0以上版本。Window 上安装...

2018-11-21 13:50:17 1962

原创使用fiddler抓取app数据

本文简单展示如何用Python抓取APP数据，以超级课程表树洞为例：首先：需要下载抓包神器：fiddler直接百度下载，然后打来fiddler设置几个选项：选中"Decrpt HTTPS traffic", Fiddler就可以截获HTTPS请求选中"Allow remote computers to connect". 是允许别的机器把HTTP/HTTPS请求发送到...

2018-08-28 23:29:33 9722

原创使用pyspider框架抓取猫途鹰旅游信息

这里通过pyspider框架可以直接:pip3 install pyspider 下载框架pyspider all 运行可以看到 run 0.0.0.0:5000直接在浏览器输入localhost:5000 进入创建新项目 #!/usr/bin/env python# -*- encoding: utf-8 -*-# Created on 2018-08-03 09:59...

2018-08-06 16:49:55 1074

原创对于某些使用js渲染的网站使用pyspider无法查看的解决方法

def on_start(self): self.crawl('https://www.taobao.com/', callback=self.index_page,validate_cert=False,fetch_type='js')添加 fetch_type ='js'即可

2018-08-06 16:35:30 1126 2

原创 pyspider报错 HTTP 599: SSL certificate problem: self signed certificate in certificate chain

解决方法：在self.crawl的最后加上 validate_cert = False

2018-08-03 10:20:35 254

原创关于python request库和requests库区别

urllib模块是python自带的，直接调用就好，用法如下：1 #处理get请求，不传data，则为get请求2 import urllib 3 from urllib.request import urlopen 4 from urllib.parse import urlencode 5 url='http://127.0.0.1:1990/login'6 data={"user......

2018-08-02 12:47:38 20217 5

原创通过进程池爬取王者荣耀所有英雄皮肤和技能详情

首先设置UA池def UserAgent(): list = ['Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60', 'Mozilla/5.0 (Window...

2018-08-02 12:35:58 3000

原创 Fatal error in launcher: Unable to create process using '"' 问题

今天在cmd去pip安装一个模块是报出的错误解决方案使用 python -m pip install -U --force-reinstall pip如果python运行正常，可以这样解决，象执行virtualenv出现这个问题，也可以这样解决。如果还是解决不了怎么办呢可以使用python3 -m pip install XXX...

2018-08-01 19:18:50 1853 1

原创爬取豆瓣电影短评并使用词云简单分析top50

先使用进程池爬取豆瓣电影短评import requests import reimport randomimport timeimport pandas as pdfrom pymongo import MongoClientfrom multiprocessing import Poolfrom fake_useragent import *#简单反反爬措施,使用多个UA...

2018-08-01 17:02:12 4142

原创通过selenium +headless浏览器爬取淘宝信息

开始使用的是phantomJS浏览器但是出现警告,所以换成火狐的无头浏览器,也可以使用谷歌的 from selenium import webdriverfrom selenium.webdriver.firefox.options import Optionsfrom selenium.webdriver.common.by import Byfrom selenium.we...

2018-07-31 16:31:37 1154

原创通过分析AJAX抓取今日头条街拍数据

今日头条街拍数据保存在js里爬取时建议使用代理服务器 #-*- coding = utf-8 -*-import requestsfrom urllib.parse import urlencodeimport jsonimport refrom requests.exceptions import RequestException#设置UAheaders ={'Use...

2018-07-30 10:53:52 420

原创使用进程池抓取猫眼数据

from urllib import requestfrom multiprocessing import Pool,Managerimport functoolsfrom http import cookiejarimport json,re#引入cookjar来放在cookie过期cookie = cookiejar.CookieJar()handle_cookie=requ...

2018-07-30 10:17:13 321

原创关于爬取有道词典是出现{"errorCode":50}

今天在尝试爬虫有道词典的翻译是总是出现{"errorCode":50}解决办法：去除url中的_o即可def youdao(f): headers=random.choice(UA) mytime = int(time.time()*1000) data = {'action':'FY_BY_REALTIME','client':'fanyideskweb','doctype':...

2018-07-13 10:12:46 3400 3

夭夜的博客