用BeautifulSoup + selenium 写简单的爬虫编程

我们以抓取选股宝网页里面的利好以及利空对应的股票名称为例子

1、创建项目

        打开PyCharm

2、新建py文件

3、编程

    3.1 创建文件函数

# 创建文件函数 （文件路径，文件名）
def establish_file(file_path, file_name):
    # 文件路径
    path = file_path + file_name
    # 判断文件是否存在
    if os.path.exists(path):
        print(file_name + "文件已存在，正在删除...")
        # 删除原有文件
        os.remove(path)
        print("原有文件已经删除，正在重新创建文件...")
    # 创建文件（文件路径，打开方式'w'只写，编码格式）
    f = io.open(path, 'w', encoding='utf-8')
    # 关闭文件
    f.close()
    print("文件创建成功!")

    3.2 数据写入文件

# 将获取数据写入文件中（文件路径，文件名，数据）
def write_data(file_path, file_name, data):
    # 文件路径
    path = file_path + file_name
    # 打开创建文件（文件路径，打开方式'a'追加，编码格式）
    f = io.open(path, 'a', encoding='utf-8')
    print("正在写入" + file_name + "...")
    # 数据写入文件
    f.write(data)
    print("写入成功")
    # 关闭文件
    f.close()

    3.3 爬虫函数

        3.3.1 爬虫自动打开Chrome浏览器，并多次点击加载更多

            话不多说，代码伺候

    Chrome_driver = webdriver.Chrome()     # 打开浏览器
    Chrome_driver.maximize_window()        # 最大化浏览器
    Chrome_driver.get(url)                 # 打开选股宝网站
    for i in range(0, n):                  # n次点击加载更多
        Chrome_driv