在java中运行的Python脚本（抓取网易云音乐数据）的简单事例代码（较全）

本文链接：https://blog.csdn.net/ZLZQ_Yuan/article/details/105374629

最近在写大数据作业，老师要求抓取网易云音乐上的数据，并实现异步加载显示。现在刚写完前半部分，趁热打铁赶紧记下来。

主要思路是，用python写抓取数据的部分（听说他们是标配，python很适合爬数据），然后用java代码，通过执行cmd命令直接执行python脚本。简单粗暴。

因为完全不懂爬虫和也没用过python，然后我就疯狂百度，东拼西凑搞出来了点。所以不排除描述性错误。参考的原地址，贴在了底部。

由于电脑没有环境，所以我下了两个软件（非必须）：pycharm（写python脚本）和eclipse（写java部分的代码）。

主要步骤：

1.下载python并安装。

注意pip这个工具，python自带的。可以通过cmd命令行，线上安装依赖库。

2.下载pycharm（可跳过）

3.写python程序：

# encoding=utf-8
import requests
from bs4 import BeautifulSoup
import urllib.request

headers = {
    'Referer': 'http://mucis.163.com',
    'Host': 'music.163.com',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36',
    'Accept': 'text/html5,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
}

# 歌单的url地址
play_url = 'http://music.163.com/playlist?id=2182968685'

# 获取页面内容
s = requests.session()
response = s.get(play_url, headers=headers).content

# 使用bs4匹配出对应的歌曲名称和地址
s = BeautifulSoup(response, 'lxml')
main = s.find('ul', {'class': 'f-hide'})

lists = []
for music in main.find_all('a'):
    # print('{} : {}'.format(music.text, music['href']))
    # 拼接出真正的路径
    musicUrl = 'http://music.163.com/song/media/outer/url' + music['href'][5:] + '.mp3'
    musicName = music.text
    # 单首歌曲的名字和地址放在list列表中
    # list.append(musicName)
    # list.append(musicUrl)
    list = [musicName, musicUrl]
    # 全部歌曲信息放在lists列表中
    lists.append(list)

print("start--------------------------")
num = "该页面共有" + str(len(lists)) + "首歌曲。歌曲名及url地址如下："
print(num)
for i in lists:
    name = i[0]
    url = i[1]
    print(name + " : " + url)
print("end--------------------------")

# 下载列表中的全部歌曲，并以歌曲名命名下载后的文件，文件位置为当前文件夹
# for i in lists:
# i = lists[1]
# url = i[1]
# name = i[0]
# try:
#     print('正在下载', name)
#     urllib.request.urlretrieve(url, './%s.mp3' % name)
#     print('下载成功')
# except:
#     print('下载失败')

4.下载java，安装，配置好环境变量。一套流程搞起来。

5.下载eclipse。（其他编辑器也可以）

6.写java程序。

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.LineNumberReader;

public class ConnectPython {
	public static void main(String[] args) {
		  try {       
	            Process process = Runtime.getRuntime().exec("python E:\\MusicData.py" );
	         
	            InputStreamReader ir = new InputStreamReader(process.getInputStream(),"utf-8");
	            
	            LineNumberReader input = new LineNumberReader(ir);
	            String result = null;
	            while((result= input.readLine())!=null) {
	            	System.out.println(result);
	            }
	            input.close();
	            ir.close();
//	            process.waitFor();
	        } catch (Exception e) {
	            System.out.println("调用python脚本并读取结果时出错：" + e.getMessage());
	        }
	        
	        System.out.println("程序已被执行！");
	}
}