应用商店爬虫（debug记录）

app-queue

1、mysql

navicat直接加载sql文件不行，

使用docker版mysql

查看镜像

docker images

运行容器

# -v设置挂在的目录，如果没挂在看一下默认挂在目录，然后复制到默认挂载目录 
# “-e MYSQL_ROOT_HOST=%” 这个选项就是用来设置允许远程访问的。
docker run --name='sky-mysql' -e 'MYSQL_ROOT_PASSWORD=123456' -e MYSQL_ROOT_HOST=% -p 3306:3306 -d mysql:5.7 -v
# 查看默认挂载路径
docker inspect mysql-test | grep Mounts -A 10
# 如果run的时候没有挂载文件，那么可以直接从宿主机复制到docker里面的默认路径
cp /root/app-queue/app.sql /var/lib/docker/volumes/49007a269f6a8de536b01573ecaba35d8dcc1c08442c78f393716f88374555d4/_data/
# 可以把sql文件复制到其他地方,例如root
mv /var/lib/mysql/app.sql /root/
# 进入mysql
docker exec -it sky-mysql /bin/bash
mysql -u root -p
# 查看user数据库，如果root的host是%则是可以任意ip远程连接访问的
select host,user,plugin,authentication_string from mysql.user;
# 运行sql文件
source /root/app.sql;

ps：navicat运行sql文件，需要先创建同名数据库，只运行创建表的字段。

2、安装apktool

https://blog.csdn.net/shi_derek/article/details/81671541

在Linux 机器上创建一个临时文件夹 apktool；

下载 aapt 和 apktool： 下载路径  https://connortumbleson.com/apktool/googlecode/ 选择  apktool-install-linux-r05-ibot.tar 下载，解压后拷贝到apktool文件夹下。

下载apktool.jar 文件： 下载路径  http://connortumbleson.com/apktool/  选在最新的版本 apktool_2.3.3.jar 下载完成更名为apktool.jar， 并拷贝到apktool文件夹下

拷贝文件到bin文件夹下，apktool 和aapt 命令能在任何路径下使用。sudo cp -i aapt apktool apktool.jar  /usr/local/bin/

增加aapt 的权限： sudo chmod 755  /usr/local/bin/aapt

进入到要反编译的apk 目录下： 

反编译： apktool d test.apk 

查询apk包详细信息： aapt dump badging test.apk

遇到问题Java Can’t connect to X11 window server using ‘localhost:10.0’ as the value of the DISPLAY variable

Remove the DISPLAY variable

unset DISPLAY

3、aapt不能使用，是因为32位程序，不能运行在64位机器上，安装一些32位依赖

sudo apt-get update 
sudo apt-get install gcc-multilib lib32z1 lib32stdc++6

4、fake_useragent出现不能下载cache的问题

这个问题还是由于翻墙不能出去，下载agent列表

ua = UserAgent()

第一步，需要查看tmpfile的路径

# 新建py文件或进入python 命令行
import tempfile
tempfile.gettempdir()
#一般输出都是/tmp

第二部，查看fake_useragent库的settings文件，里面有一个下载缓存连接，浏览器翻墙打开链接，复制

CACHE_SERVER = 'https://fake-useragent.herokuapp.com/browsers/{version}'.format(
    version=__version__, #__version__ = '0.1.11'
)

第三步，在/tmp文件下建立一个fake_useragent_{version}.json文件，黏贴进来浏览器内容。