- 博客(15)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 像Selenium爬网页一样爬手机App，可见即可爬——appium 教程（一）appium安装windows版
有一个博主写到：“学习appium最大的难处在于环境的安装，80%的人死于环境安装，然后就没然后了，10%的人被环境折腾一周以上，只有剩下的10%人品好，可以顺利安装。”看到这句话挺吓人的，事实上也的确差点死在路上，真的很容易出错，之前参考的很多的文章都模棱两可，再就是写的差不多都是旧版本的安装方式，所以一直不成功，非常感谢Fan_shui的文章，给我提供了很大的帮助，在此贴上文章链接：https...
2020-01-07 11:35:10
1500
原创 像Selenium爬网页一样爬手机App，可见即可爬——appium 教程（二）appium实战抓取手机知乎APP的热点标题
Appium的安装在前一篇文章写得比较详细，如果有需要，可以参考前一篇，下面介绍抓取APP数据的过程。开始界面Appium安装完成之后，打开Appium，如下图直接点击开始。进入如下图界面，点击，Start Inspector Session设置相关信息进入如下界面，填写相关信息，主要有"platformName": "Android","deviceName"...
2020-01-07 11:31:59
979
2
原创 centos7在线安装python3.7教程，很详细
本教程是在centos下用yum在线安装python3.7(也可以选择其他版本），步骤很详细，我自己走过，没有错误，按着这个流程来，基本上不会出错，如果遇到什么问题，可以私信问我哦centos7 自带有 python，版本是python2.71.首先，你要知道系统现在的python的位置在哪儿[root@localhost ~]# whereis python python:...
2019-11-06 17:07:37
2084
原创 centos7 64位下mysql5.7的安装配置卸载
来来回回也安装过很多次的MySQL了，去年搭建大数据平台的时候总结了方法，结果今天再次安装的时候发现以前写的方法有些不可用了，于是把今天成功安装的过程重新做了总结，步骤很详细，按照这个流程走基本上没有问题的，如果哪里存在问题，欢迎大家给我指出来，我也在不断学习。安装MySQL（1）下载安装包：# wget http://dev.mysql.com/get/mysql57-com...
2019-11-06 16:44:44
181
原创 APP抓包工具fiddler配置及使用教程
转载一篇今天刚接触到的抓包工具的文章，这篇文章教程写的挺全的，需要的东西基本上都在里面：https://www.cnblogs.com/woaixuexi9999/p/9247705.html另外补充一下，如果在“Android 手机上的配置”这个步骤中，输入代理服务器的 IP 和端口没有反应，连接不成功，可能是你配置完fiddler之后没有重启。还有如果在使用过程中，fiddle...
2019-10-24 19:21:14
436
1
原创 Linux常用命令大集合
ps 命令用于查看当前正在运行的进程，grep 是搜索#表示查看所有进程里 CMD 是 java 的进程信息[root@localhost ~]# ps -ef | grep java-aux 显示所有状态[root@localhost ~]# ps -aux | grep java查看本机所有进行的进程，显示前500个[root@localhost ~]# ps...
2019-10-17 17:22:01
91
原创 python 遍历文件夹，用正则表达式字符串匹配找出符合要求的文件/文件夹、拷贝文件
找出文件名具有一定格式的文件：import osimport repath = "/root"targetDir='/root/result' def getfilelist(strn): names=[] for dirpath, dirnames, filenames in os.walk(path): for filepath in file...
2019-10-17 16:45:53
5431
原创 用python和用命令行查看CPU，内存，释放内存
有些时候用命令行去查看CPU和内存不太方便，这个时候python就可以很快解决问题。CPU总核数 = 物理CPU个数 * 每颗物理CPU的核数总逻辑CPU数 = 物理CPU个数 * 每颗物理CPU的核数 * 超线程数Python释放内存：importgcdelagc.collect()查看内存占用：import psutilimport os...
2019-10-17 15:50:34
3049
原创 pyspark学习
由于公司的项目需要用pyspark做数据清洗等工作，于是现学现用，也有很多不懂的地方，如果文章里面有什么总结得有问题的，欢迎大家指出。更详细的介绍也可以参考PySpark教程：使用Python学习Apache Spark 一. pyspark简介 1. pyspark是什么要学习pyspark，肯定首先要知道pyspark是什么。Apache Spark是用Scala编程语言...
2019-10-17 14:35:13
867
原创 Python 爬虫Selenium库的使用 实现自动登录慕课网
一. 环境准备：1.Selenium简介Selenium是一个用于测试网站的自动化测试工具，支持各种浏览器包括Chrome、Firefox、Safari等主流界面浏览器，同时也支持phantomJS无界面浏览器。支持多重操作系统Windows、Linux、IOS、Android等。如果是在有界面浏览器上操作，那肯定要在有界面的系统上进行了。以下内容都是在windows上进行的，可以...
2019-09-24 14:01:58
1536
2
原创 linux screen工具的使用
说明：因为自己在参考Linux Screen工具这篇文章使用screen这个工具的时候，存在一些小问题有点模糊，所以在自己弄明白之后对其中一些操作方法做了更详细的说明，有错请指正。简单来讲screen这个工具就是为了方便管理保存一些Linux窗口，上一次运行过的一些命令，下一次打开的时候很可能就找不到了，还有一些任务，比如系统备份、ftp 传输、ipython、pyspider等等，需要...
2019-09-11 17:39:39
156
转载 centos服务器如何用命令查看哪个程序内存占用情况,硬盘空间占用
1.free -m只能查看内存总量情况2.top M ( 注意M是大写)3.ps aux|head-1; ps aux |sort -k4nr |head-10---------------------硬盘占用df -lh(查看文件占用)du -h --max-depth=1(查看删除占用)lsof -n | grep deleted查看日志...
2019-07-17 11:38:31
192
转载 解除window系统端口占用
转载自：https://blog.csdn.net/qq_15916363/article/details/810417951、win+R打开输入cmd回车，打开cmd窗口，如图2，netstat -ano列出所有端口的情况，找到被占用的端口（如果知道是哪个端口被占用了，可以省略这一步），如图3、输入命令netstat -aon|findstr "80"找对应的PID...
2019-04-10 16:19:09
593
原创 Sqoop全量增量将数据从SqlServer/MySQL导入HDFS/Hive，再从HDFS/Hive导出到数据库最全总结
最近总结了很全的sqoop应用，有以下内容1.SqlServer/MySQL全量增量导入HDFS/Hive，2.HDFS导入hive3.hdfs导出到SqlServer/MySQL4.hive导出到hdfs5.hive导出到SqlServer/MySQL6.还有以上过程的注意事项、操作过程中可能遇到的错误、改正方法如有不正确的地方，欢迎各位指正^_^；有不太清楚的...
2019-03-29 12:05:19
2107
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人