- 博客(27)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 ubuntu 20.04三行命令安装 google-chrome浏览器
64位电脑wgethttps://dl.google.com/linux/direct/google-chrome-stable_current_amd64.debsudo dpkg -i google-chrome*sudo apt-get install -fwgethttps://dl.google.com/linux/direct/google-chrome-stable_current_amd86.debsudo dpkg -i google-chrome*su...
2020-06-29 11:03:23
9642
原创 ubuntu18.04安装nodejs lts latest-v12.x 长效支持版
查找最新下载地址进入官网查找最新下载地址 nodejs.org/en/download…右键复制源码下载链接在系统内安装nodejs在系统内一次输入以下指令sudo apt-get update # 下方的下载地址，请根据需要更换sudo wget https://nodejs.org/dist/latest-v12.x/node-v12.16.3.tar.gz# 下方的解压文件，根据下载的文件名更换sudo tar xvf node-v12.x.tar.gz# 下方的...
2020-06-28 09:58:34
8880
原创 Python：Pyppeteer点击弹出窗口 scrapy框架搭建
import asyncioimport timeimport randomfrom pyppeteer import launch # 控制模拟浏览器用from pyppeteer.dialog import Dialogfrom retrying import retry # 设置重试次数用的js1 = '''() =>{Object.defineProperties(navigator,{webdriver:{get: () => undefined} })}'.
2020-06-27 10:14:38
9599
原创 怎么使用Uiautomatorviewer获取元素的xpath
在学习和使用AndroidADT的时候，元素定位都会使用tools包下面自带工具uiautomatorviewer,但很多时候元素并没有text和id，只有class。但是，大家都知道class很多时候不是唯一属性，要通过class_Name()的方式来定位，返回的往往是第一个，这根本不是自己想要的。有些人会考虑使用driver.find_elements_by的这种方法来获取所有相同的class的对象，但这样用起来很麻烦，那怎么通过工具来获取xpath呢？如上图，根本找不到xpath,这里就.
2020-06-24 14:00:53
9248
原创 uiautomatorviewer连接机器点击报错Unexpected error while obtaining UI hierarchy
方法一： 推荐方法二参考：https://www.cnblogs.com/lucky0425/p/10955252.html运行开安卓自带的uiautomatorviewer.bat，打开后连接手机，报错如下：纠结了很长时间最终用一位大神的方法得到解决，虽然不太懂原理但是已解决了我的问题，原理以后慢慢研究1.在E盘根目录下创建app.png文本文件2.在E盘根目录下创建app.uix文本文件3.执行以下adb命名： adb...
2020-06-24 10:57:32
9675
原创 另辟蹊径，appium抓取app应用数据了解一下！uiautomotor2 && mitmproxy && elasticsearch && kibana (一)
appium在windows系统下环境搭建对于appium的介绍我就不说了，之前的文章介绍过。下面直入主题。命令版本在安装过程中需要有python2环境，装完你可以装python3来写脚本。环境要求：JDK 》java语言安装包 Node.js 》appium命令行版本服务依赖的环境 android-sdk 》安卓开发者工具包 python2 》在安装appium命令行版本服务时需要 .net framework appium-python-client 》python ap.
2020-06-23 17:43:48
8423
原创 另辟蹊径，appium抓取app应用数据了解一下！uiautomotor2 && mitmproxy && elasticsearch && kibana (二)
作为爬虫工程师，你一定知道selenium什么是selenium？Selenium原本是一个用于Web应用程序自动化测试工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。我们爬虫工程师使用selenium来抓取动态web页面。今天，我们来介绍另一款自动化测试工具,Appium。Appium官方文档https://githu
2020-06-23 17:09:50
7462
原创 将MongoDB数据加载到Elasticsearch 用Elasticsearch连接到Kibana
一、前言由于业务需要，需要将放在MongoDB的数据加载到Elasticsearch，Elasticsearch天生具有全文检索优势。MongoDB虽然新的版本也支持fulltext，但目前尚未支持中文。所以这里我们就用比较流行的Elasticsearch。另外，为了方便，我会基于Docker搭建MongoDB和Elasticsearch集群二、docker的安装和使用环境：Ubuntu 16.04.5 LTS2.1 如果存在旧版本docker，先删除旧版本$ sudo apt-get
2020-06-23 11:44:13
6649
原创 另辟蹊径，appium抓取app应用数据了解一下！uiautomotor2 && mitmproxy && elasticsearch && kibana
https://www.imooc.com/article/80382再给大家安利一个谷歌浏览器的的插件，使用后可以查看WebView中元素的Id，很方便在chrome浏览器输入如下地址：chrome://inspect/1然后就能监听到模拟器中的WebView了，然后点击下方图片中的inspect，再刷新UiAutomatorViewer的界面，就会发现，WebView也能展开查看其元素了，这个主要用在自动化测试中获取控件ID吧。原文链接：https://blog.csdn.net/l.
2020-06-23 11:09:32
6276
原创 爬虫的新模块pyppeteer的使用之 禁止加载图片 截获response和request
截获response和requestawait page.setRequestInterception(True)page.on('request', intercept_request)page.on('response', intercept_response)intercept_request和intercept_response相当于是注册的两个回调函数，在浏览器发出请求和获取到请求之前指向这两个函数。比如可以这样禁止获取图片、多媒体资源和发起 websocket 请求：a
2020-06-22 20:41:52
10515
原创 [在线挑战]【i春秋】渗透测试入门 —— 渗透测试笔记 --转
【i春秋】渗透测试入门 —— 渗透测试笔记，原文 0x00 前言 本题算是一道较为综合的渗透题，要求对两个服务器系统进行渗透，第一个是基于齐博 CMS的信息资讯平台http://www.test.ichunqiu，第二个是基于Discuz!的论坛社区http://bbs.test.ichunqiu。这两个 CMS 同样能在网上找到许多漏洞，常用作渗透测试的练习靶机。 根据提示，第 1 题要求找到咨询平台的管理员账号密码...
2020-06-22 16:17:06
7691
原创 Ubuntu 18.04安装k8s 集群
实际生产环境集群或单机AllInOne安装推荐参照easzlab/kubeasz项目https://github.com/easzlab/kubeasz注意:该项目的kubernetes_dashboard的服务对外暴露采用的是NodePort方式 访问kubernetes_dashboard需要使用firefox浏览器分块手动安装便于理解和学习环境: 两台装有Ubuntu的机器 一台作为master 一台作为work node更改ubuntu的apt源替换cn.archi...
2020-06-22 15:31:05
5674
原创 Ubuntu 终端路径名太长
Ubuntu 终端路径名太长在文件末尾，加上export PS1='[\u@\h \w]$ '其中，\u 表示当前用户名 \h 表示当前主机名（hostname） \w 表示当前路径其实还可以减少到更短，只保留当前路径，如下exportPS1='[\w]$'也可以修改 这一段 小写 w 改为 大写 W 两个地方都有改vim ~/.bashrcif [ "$color_prompt" = yes ]; then PS1='${debi...
2020-06-21 18:06:36
5674
原创 ubuntu 20.04 系统下Python虚拟环境的安装和使用教程
这篇文章主要介绍了ubuntu系统下Python虚拟环境的安装和使用教程,本文给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下 前言：进行python项目开发的时候，由于不同的项目需要使用不同的资源包和相关的配置，因此创建多个python虚拟环境，在虚拟环境下开发就显得很有必要。安装虚拟环境•步骤：•打开Linux终端（快捷键Ctrl+Alt+T）,输入命令： 1 2 sudo apt install python-...
2020-06-21 17:52:36
11521
1
原创 基于 pyspider 搭建分布式集群爬虫流程
背景介绍pyspider 架构，大概的流程如下图所示：整个 pyspider 的各个模块间的任务传递是由**消息队列**传输的，其中任务的调度则是由「scheduler」模块控制，所以按作者的意思，除了「scheduler」调度模块只能单点，其他的「fetcher」，「processor」，甚至是「monitor & webui」，都可以实现多实例分布式部署。这样一来分布式 pyspider 的瓶颈就在单点的 「scheduler」 节点的消费能力了，实际跑起来观察后发现确实「.
2020-06-20 11:54:11
5790
原创 使用Docker分布式部署爬虫系统Pyspider
阅读准备docker基础命令，docker-compose基础 pyspider基础如果您不熟悉上面的内容，可以先网上查阅有关资料。1. 创建网络接口首先，创建一个Driver为bridge的网络接口，命名为pyspider：docker network create --driver bridge pyspider 说明1： 需要创建该网络接口的原因是：在下面创建Docker容器的过程中，我们使用了docker和docker-compose分别创建了不同的服务。按正常来说，如果.
2020-06-20 11:50:10
5835
原创 Docker Selenium(1) 搭建服務及chrome 使用 firefox
Docker Selenium能讓Selenium在Docker中運行，可加速建置時間及獨立出各瀏覽器的版本，保持了一定的隔離性，是非常好的測試環境。docker-selenium 官方文檔鏡像介紹selenium/hub: Grid Hub，相當於一個空白的Seleniun Server，selenium/node-chrome: Chrome節點，需加入Grid Hub才能使用。selenium/node-firefox: Firefox節點，需加入Grid Hub才能使用。sele
2020-06-19 10:47:48
6199
原创 docker中pyppeteer使用及解决方法
pyppeteer使用及docker中产生大量僵尸进程的解决方法https://juejin.im/post/5e0db9295188253a8b42e63chttps://github.com/miyakogi/pyppeteer前期配置安装python3 -m pip install pyppeteerpyppeteer 第一次启动时会自动下载chromium，手动下载chromium方法,需要科学上网 pyppeteer-install修复小bug找到pyppeteer包下的
2020-06-19 10:44:26
6439
原创 ubuntu 20.04 Docker容器图形界面显示（运行GUI软件）的配置方法
1.Docker的“可视化”Docker本身的工作模式是命令行的，因为主要的使用场景可能是做服务器后端方面的比较多。但有时候我们会有在docker容器里运行一些图形界面的软件，或者要调用摄像头，输出图像等等一些需求，这个时候需要解决这个Docker “可视化”的问题。（这里的“可视化”不是很容易搜到的可视化管理的方法）2.解决方案1—启动容器时添加配置选项林帆：Docker运行GUI软件的方法这篇文章里介绍了Docker公司的程序员杰西·弗莱泽尔（Jessie Frazelle）展示的使用了图形
2020-06-18 15:40:28
14688
原创 解决 Docker容器时间与主机时间不一致的问题 的三个方法
通过date命令查看时间查看主机时间[root@localhost ~]# date2016年 07月 27日 星期三 22:42:44 CST查看容器时间root@b43340ecf5ef:/# date ...
2020-06-18 10:35:20
5970
原创 Python如何将UTC时间转换为某个时区的时间
保存时间字段时，我是使用 datetime.datetime.utcnow() 保存的时间，也就是 UTC 标准时间。现在我要取出这个时间，比如在天朝就要+8个小时。那么，这个时间是直接加8个小时好呢还是说有什么更科学的方法将时间转换成当前东八区的时间？from datetime import datetime,timezone,timedeltadt = datetime.utcnow()print(dt)dt = dt.replace(tzinfo=timezone.utc)pr.
2020-06-18 10:17:46
7225
原创 Redis 集群搭建（二）：Docker 部署 Redis主从同步与读写分离 断电恢复 数据持久化处理
https://blog.csdn.net/john_chang11/article/details/52806178?utm_medium=distribute.pc_relevant.none-task-blog-baidujs-1https://zjxkenshine.github.io/2018/04/13/Redis%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%88%E4%BA%94%EF%BC%89%EF%BC%9A%E6%8C%81%E4%B9.
2020-06-13 11:06:43
5542
原创 巴菲特与搭档查理芒格手把手教你如何读财报，唯一一篇百看不厌炒股最实用文章
巴菲特与搭档查理芒格手把手教你如何读财报，唯一一篇百看不厌炒股最实用文章来源投资快报巴菲特和芒格是老乡，非常有缘分的是芒格和巴菲特爷爷的杂货铺只有六个街区，甚至小时候芒格还在杂货铺打过工，不过那个时候他们并不认识。芒格从小就很优秀，小小年纪就会谈判，就凭一张嘴，经常可以从别的小朋友那里换到更大更好的仓鼠。两个大神的相识是因为一次晚宴，当时芒格父亲去世，芒格返回奥马哈，在一次宴会中两个人一见如故，相见恨晚，宴会结束两个人还谈的意犹未尽。几十年投资，芒格总结的经验1.专注于你正在做的事情。.
2020-06-13 09:12:36
6422
原创 ubuntu20.04 下 同时启动多个scrapyd 服务
查找scrapyd的路径find / -name scrapyd找到包安装目录下的scrapyd配置文件 cd /root/anaconda3/lib/python3.6/site-packages/scrapyd打开default_scrapyd.conf的配置如下，修改bind_address = 0.0..0.0(允许远程访问)[scrapyd]eggs_dir = eggslogs_dir = logsitems_dir =jobs_to_keep ..
2020-06-12 10:56:10
5636
原创 Ubuntu20.04 下搭建Kubernetes集群--k8s部署
1. 关闭swap并关闭防火墙首先，我们需要先关闭swap和防火墙,否则在安装Kubernetes时会导致不成功：# 临时关闭swapoff -a# 编辑/etc/fstab，注释掉包含swap的那一行即可，重启后可永久关闭ufw disable2.配置阿里源sudo echo "deb http://mirrors.ustc.edu.cn/kubernetes/apt kubernetes-xenial main" > /etc/apt/sources.list...
2020-06-11 14:43:17
8914
原创 MongoDB 副本集 复制集节点增加移除及节点属性配置
复制集(replica Set)或者副本集是MongoDB的核心高可用特性之一，它基于主节点的oplog日志持续传送到辅助节点，并重放得以实现主从节点一致。再结合心跳机制，当感知到主节点不可访问或宕机的情形下，辅助节点通过选举机制来从剩余的辅助节点中推选一个新的主节点从而实现自动切换。对于一个已经存在的MongoDB Replica Set集群，可以对其进行节点的增加，删除，以及修改节点属性等等。本文即是围绕这些进行描述。有关MongoDB复制集概念及其搭建，可以参考：MongoDB 复制集(Repli
2020-06-10 10:18:45
6002
原创 js自定义弹出框、对话框、提示框、弹窗总结
一、JS的三种最常见的对话框//====================== JS最常用三种弹出对话框 ======================== //弹出对话框并输出一段提示信息 function ale() { //弹出一个对话框 alert("提示信息！"); } //弹出一个询问框，有确定和取消按钮 function firm() { //利用对话框返回的值 （true 或者 false）...
2020-06-02 14:25:11
6986
多人聊天室python实现
2019-04-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人