。。。。。。
需求：
获取https://www.appannie.com/apps/ios/top/united-states/games/?device=iphone 排行榜数据，并得到每个game的大小和语言（从排行榜点击对应game名字进入详细页面）以及分类（详细页面中点击左侧history）。
本blog主要用来记录coding中遇到的一些问题，相关知识点如下：
LWP（Library for www in Perl )
UserAgent and Cookies
perl正则表达式
utf8 and Json
threads 多线程处理
Spreadsheet 写入Excel
配置文件等小细节
目录
用 [TOC]来生成目录：
before start
对perl的了解并不多，写过几个文件操作的脚本来简化工作流程，这次主要是为了帮中国好室友提升工作效率，同时提升对perl的驾驭能力，有目的的学习才是最有效率的！
这篇blog的所有code都可以在我的github页面找到https://github.com/playscforever/my_perl_study/blob/master/final/login_appannie_final.pl
简单开始
刚开始处于一无所知的状态,直接google如何利用perl获取网页内容：
use strict;
use warnings;
use LWP::Simple qw(get);
my $html = get( "https://www.appannie.com/apps/ios/top/united-states/games/?device=iphone" );
print $html;bingo~ , 突然感觉好像成功了一半（虽然还没开始），需要的内容都出来了，接下来就要用正则来提取自己需要的信息，这里贴一下我学习perl和正则的两个教程，虽然大多数问题都是用google和百度来解决的，看看教程对perl了解个大概还是有必要的：
http://shouce.jb51.net/perl/index.html
http://qntm.org/files/perl/perl_cn.html简单分析$html里面的内容之后，写出正则提取需要的game名字和对应详细页面的url：
while($html =~ m/span title=\"(.*)\" class=\"oneline-info title-info\">\s*<a href=\"\/(.*)\">/g) {
$app_name = $1; # 这里的$1对应第一个括号(.*)
$app_url = $2;
}参数g (global)可以匹配所有符合要求的字符串，当遇到符合要求的字符串之后便进入while循环中，其实最开始用到的方法是把$html split成一行一行的，然后逐行分析，后来发现有global参数才改成上面这种简答的形式。
html转义字符处理
有些标题里面会有&这样的特殊字符，提取出来之后就变成了 & amp; （没有空格），直接用替换简单处理
$app_name =~ s/&/&/g;
$app_name =~ s/'/'/g;处理登陆
详细页面的url 需要稍微拼凑一下，还是蛮简单的
my $innerHtml = $ua->get("https://www.appannie.com/".$app_url);好了，问题来了，这特么是一个需要登陆才能访问的页面啊我勒个擦！
ok，这里卡了一个星期，好了细节不描述了，直接贴代码说问题吧
#这里用到了UserAgent来模拟浏览器
my $ua = LWP::UserAgent->new();
#生成一个自动保存的cookie
my $cookie_jar = HTTP::Cookies->new(
file => "testcookies.txt",
autosave => 1,
);
$ua->cookie_jar( $cookie_jar );
$ua->agent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.155 Safari/537.36");
#先获取一下登陆页面
my $res = $ua->get("https://www.appannie.com/account/login/", Referer => "https://www.appannie.com/");
#这里是重点啊，在firefox或者chrom中登陆，然后观察传递的数据，会发现除了用户名和密码是必须要传递的以外，还有个token也是需要传递的，否则死也登陆不上去啊！这个token可以在header中用正则获取，然后一起post给服务器。
my $c = $res->header('set-cookie' );
$c =~ m{csrftoken=(\w+);};
my $token = $1;
$res = $ua->post("https://www.appannie.com/account/login/",
Content => [
csrfmiddlewaretoken=>$token ,
next => "/",
#这里需要替换成自己的用户名和密码，注意双引号中有些特殊字符是转义的，比如@
username => $cfg{username},
password=> $cfg{password},
]
);
print $res->content;搞定了登陆就成功了一大半了，不同网站登陆方式都不太一样，按照总监的话来说，AppAnnie这里有点猥琐，一般网站都不会这么麻烦。这里附加一个美团登陆的例子：https://github.com/playscforever/my_perl_study/blob/master/login_success_meituan.pl 不需要用户名和密码，用浏览器登陆的时候看一下传递的token 复制过来就好，操作频繁会有验证码出现。
接着再用正则提取一下size 和 language
#这里的？ 是惰性匹配，尽可能少的匹配
my($size,$empty,$language) = ($innerHtml->content =~ m/Size:<\/b>(.*?)<\/p><p><b>(.*?)<\/b>(.*?)<\/p>/);获取chart数据
接下来要做的事情就是进入history页面获取游戏的类型~ 在get到history页面的内容之后，发现并没有想要的数据， 进入firefox开发者工具，查看页面发送的请求，会发现chart数据是进入history页面之后通过ajax获取的，好了 根据ajax的url来获取对应的数据吧！！(还是需要拼凑一下url）
my $res = $ua->get("https://www.appannie.com/".$tempUrl."rank-chart");too young too simple… 这样理所当然是获取不到任何数据的，得到回应是 ajax only，也就是说服务器判断你的请求不是ajax请求，OK，继续查看当前请求发送了哪些数据（firefox按f12然后点击网络，进入对应页面即可），然后模仿登陆添加一下：
my $res = $ua->get("https://www.appannie.com/".$tempUrl."rank-chart",
Accept => "application/json, text/plain, */*",
#对应请求的类型
'X-Requested-With' =>"XMLHttpRequest",
'X-NewRelic-ID' =>"VwcPUFJXGwEBUlJSDgc=",
);这样就能得到类似于这样的json数据（省略头尾） ：
{“category”: {“name”: “\u8d5b\u8f66\u6e38\u620f (\u6e38\u620f)”, “id”: 7013}
json utf8 unicode
接下来就要解析一下json并处理一下unicode到中文的转换问题，关于中文乱码的问题，在前面加上use utf8::all;基本就ok 了 ，不然就encode decode什么的。
my $chart = $res->content;
#这一步是unicode转换
$chart =~ s/\\u([0-9a-fA-F]{4})/pack("U",hex($1))/eg;
my $json = new JSON;
#解析json数据
my $obj = $json->decode($chart);
my $type = "";
for (my $var = 0; $var <= $#{$obj->{data}}; $var++) {
#把每个data的name都拿出来
$type = $type.$obj->{data}->[$var]->{category}->{name};
}
#下面贴一下json数据
'{"meta": {"end": "2015-08-22", "vertical": "apps", "countries": "US", "f": null,
"app_id": "648668184", "start": "2015-07-24", "market": "ios"},
"data": [{"category": {"name": "\\u52a8\\u4f5c\\u6e38\\u620f (\\u6e38\\u620f)", "id": 7001},
"country": {"code": "US", "name": "\\u7f8e\\u56fd"}, "ranks": [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 91, 3, 1, 0]}, {"category": {"name": "\\u6240\\u6709\\u7c7b\\u522b",
"id": 36}, "country": {"code": "US", "name": "\\u7f8e\\u56fd"}, "ranks":
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 984, 10, 1, 0]},
{"category": {"name": "\\u8d5b\\u8f66\\u6e38\\u620f (\\u6e38\\u620f)", "id": 7013}, "country":
{"code": "US", "name": "\\u7f8e\\u56fd"}, "ranks": [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 27, 1, 1, 0]}, {"category": {"name": "\\u6e38\\u620f", "id": 6014}, "country":
{"code": "US", "name": "\\u7f8e\\u56fd"}, "ranks": [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 301, 3, 1, 0]}], "events": ["", "", "", "", "", "", "", "", "", "",
"", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "Initial release", "", "", "", ""],
"success": true}';
Excel
excel的处理，这里用到的是 Spreadsheet::WriteExcel，还算是比较简单吧，需要注意的就是不能操作一个已经打开的excel，并且不能在程序中打开excel之后很久再操作，否则无法写入。（有一次用了代理IP，结果访问网络要很久，然后得到的数据死活写不进去excel，后来花了1个多小时才发现原来是这个问题）
sub writeExcel{
# 打开之后立刻读写，不要停留很长时间
my $workbook = new Spreadsheet::WriteExcel( $cfg{outfilename} );
my $worksheet = $workbook->add_worksheet( $cfg{firstsheetname} );
# 这里的data是全局的
print Dumper \@data;
foreach my $i (0 .. $#data){
my @values = split(/\,\,\,/,$data[$i]);
foreach my $j (0 .. $#values){
#excel左上角第一个是【0,0】
$worksheet->write($i,$j,$values[$j]);
}
}
}Threads 节约时间
因为AppAnnie是外国的站点，访问起来有点慢，一个网站打开要好几秒，想要获取100个数据就要十几分钟了，后来发现perl是可以实现多线程，然后果断加了进来：
#需要用到的模块
use threads;
use threads::shared;
。。。
# 需要调用的函数名，后面是函数对应的参数，这句话放在循环体中，把所有需要访问的url都加入threads里面
threads->create('getInnerData',$app_name,$app_url,$count/3);
。。。
#然后再取出所有的thread，开始同步执行
foreach ( threads->list() ){
$_->join( );
}
#。。。。 然后再getInnerData里面判断threads结束的方法：
writeExcel() unless threads->list(threads::running);很不辛的是，加了threads之后，ip被安妮给封掉了，不过发封邮件，第二天差不多就解封了。
另外就是，thread访问的数据必须是shared的,否则就会出错
my @data : shared;
share(@data); 细节和总结
懒得写了，最后还是失败了，不过学到了很多东西，主要是加深了对perl的理解，正则也有进步，网络相关的只是也复习了一下，各方面都还是有待提高的，路漫漫啊，继续努力吧骚年！！！
一直都懒得写blog，总是把需要记住的东西写在云笔记，但是很少去总结去复习，以后还是要多写写blog，练练文笔的同时也可以梳理一下自己所学的东西。
还是提一下配置文件吧，我的配置文件比较简单，每行都是写成 key = value的形式，这样解析和访问起来也简单，直接正则加hash：
open I,"<yzj.cfg" or print("配置文件丢失 yzj.cfg 必须放在一起\n");
# cfg中存放yzj.cfg中的键值对 等号周围空格可有可无
my %cfg = map{m/(\w+?)\s*=\s*(.+)/} <I>;
close I;Annie Api ！！！！！！
在经历一连串失利之后（主要是需要登录才能访问的页面检测太严格了），上网查了一下发现安妮居然是有提供Api的，https://support.appannie.com/hc/en-us/categories/200261564
不过悲剧的是，这个api只能对自己的account和app才有用，卧槽这不是坑爹吗！！！
所以最后的结论是，获取排行榜的名单很容易，想要获取具体app/game的内容，那就只能用非常慢的速度去爬了，或者考虑用不同ip不同账号分布式同时进行，有待研究。。。
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
