对近期所做的一个有关数据爬取的小程序的记录

前段时间项目组要做一个城市交通路况信息的报告，需要对路况数据进行抓取，细分了一下大概有一万多个路口需要抓取，抓取力度是五分钟抓取一次，抓取范围是早晚高峰。

着手干活：

1.url形如http://tm.amap.com/trafficengine/mapabc/traffictile?v=1.0&;t=1&zoom=0&x=108243&y=53281

2.对URL发送请求后，返回的是一张图片，图片上展示的是一个路口的路况信息

3.刚开始享用python对数据进行抓取，于是查了一下python对图片的抓取，可惜效果不太好

4.最后想到了linux下的curl命令，他可以将返回的数据直接保存成文件或者图片等，于是对其进行了测试，发现果然可以

5.开始进行shell脚本编程具体如下（不懂shell脚本的可以网上看一下，很简单的）：

#!/bin/bash
filename="/home/test/pic"
if [ -d $filename ]
then
    echo "目录存在"
fi
indexs=`expr index "$filename" j`
echo $indexs
echo ${filename:`expr ${indexs} - 1`:7}
datestr=$(date +%Y%m%d%H%M)
filepath="/mnt/pic/$datestr"
if [ -d $filepath ]
then
    echo "目录存在"
else
    mkdir $filepath
fi

while read line
do
    echo $line
        #xx=`expr index "$line" x=`
    xx=`expr index "$line" x`
    yy=`expr index "$line" y`
#    echo $xx
#    echo $yy
#    cha=`expr ${yy} - ${xx}`
#    echo $cha
           xstr=${line:`expr ${xx} + 1`:6}
     ystr=${line:`expr ${yy} + 1`:5}
    name="${xstr}_${ystr}_${datestr}.png"
    lastname=${filepath}/$name
    curl  $line >>${lastname}
    
        
done <"/home/jinjuan/gaode_tile_urllist_hf_one.txt"

6.然后再用crontab编写定时任务，每五分钟运行一次，大功告成

7.结果查看，发现结果与我的url个数相差较多，查看得知在有限的五分钟内没有将所有的url都爬取到，原来curl也是有一些默认的请求响应时间的，于是我将原始url拆分成多个url文件，测试发现两分钟就跑完了一万条请求，心想这下可以交差了，但仔细一想还没考虑到被封IP的情况，于是查看了curl命令如何使用代理（比较简单），在网上爬取了一些代理，让后对代理进行可用性测试，找到了请求较快的50个代理，大功告成。

以下是用java写的测试代理可行性的代码：

import java.util.HashMap;
import java.util.Map;

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
 
import java.net.HttpURLConnection;
import java.net.InetSocketAddress;
import java.net.MalformedURLException;
import java.net.Proxy;
import java.net.URL;
import java.net.URLConnection;

 

public class test {
    /** 设置代理
     * @param ip
     * @param port
     * @return
     */
    public static boolean createIPAddress(String ip,int port) {
        URL url = null;
        boolean flag=false;
        try {
        url = new URL("http://tm.amap.com/trafficengine/mapabc/traffictile?v=1.0&;t=1&zoom=0&x=108251&y=53250");
        } catch (MalformedURLException e) {
        System.out.println("url invalidate");
        }
        InetSocketAddress addr = null;
        addr = new InetSocketAddress(ip, port);
        Proxy proxy = new Proxy(Proxy.Type.HTTP, addr); // http proxy
        InputStream in = null;
        try {
        URLConnection conn = url.openConnection(proxy);
        conn.setConnectTimeout(50);
        conn.setReadTimeout(1000);
        in = conn.getInputStream();
        } catch (Exception e) {
        System.out.println("ip " + ip + " is not aviable");//异常IP
        }
        String s = convertStreamToString(in);
        System.out.println(s);
        // System.out.println(s);
        
        if(s!=""){
              System.out.println(ip + ":"+port+ " is ok");
              flag=true;
        }
      return flag;
        
        }
    /** 读取返回的数据
     * @param is
     * @return
     */
    public static String convertStreamToString(InputStream is) {
        if (is == null)
        return "";
        BufferedReader reader = new BufferedReader(new InputStreamReader(is));
        StringBuilder sb = new StringBuilder();
        String line = null;
        try {
        while ((line = reader.readLine()) != null) {
        sb.append(line + "/n");
        }
        } catch (IOException e) {
        e.printStackTrace();
        } finally {
        try {
        is.close();
        } catch (IOException e) {
        e.printStackTrace();
        }
        }
        return sb.toString();
 
        }
    /** 载入所有代理
     * @return
     * @throws Exception
     */
    public static Map<String,Integer> readAllIP() throws Exception{
        BufferedReader ro =new BufferedReader(new FileReader("E:\\proxys.txt"));
        String ws =null;
        String str =null;
        Map<String,Integer> map = new HashMap<String,Integer>();
        while((ws=ro.readLine())!=null){
            str=ws;
            JSONObject par = JSON.parseObject(str);
            map.put(par.getString("ip"), par.getIntValue("port"));
        }
        ro.close();
        return map;
    }
public static void main(String[] args) throws Exception {//
    Map<String, Integer> readAllIP = readAllIP();
    System.out.println(readAllIP.size());
    boolean createIPAddress = createIPAddress("121.232.146.110", 9000);
    System.out.println(createIPAddress);
     /* BufferedWriter wo = new BufferedWriter(new FileWriter("E:\\use_proy.txt",true));
    for(String str:readAllIP.keySet()){
        boolean createIPAddress = createIPAddress(str, readAllIP.get(str));
        if(createIPAddress){
            System.out.println("可用ip"+str+":"+readAllIP.get(str));
            wo.write(str+":"+readAllIP.get(str));
            wo.newLine();
            wo.flush();
        }else{
            System.out.println("当前ip"+str+":"+readAllIP.get(str));
        }
        
    }
    wo.close(); */
    
}
}

crontab定时任务：

*/5 7-9 * * * /home/test/shes/test.sh  /dev/null 2>&1
*/5 17-19 * * * /home/test/shes/test.sh /dev/null 2>&1
*/5 7-9 * * * /home/test/shes/test_two.sh /dev/null 2>&1
*/5 17-19 * * * /home/test/shes/test_two.sh /dev/null 2>&1