通过python开启线程,获取网页数据并远程访问云服务器,持久化存储到Mysql跟mongodb数据库中

最新推荐文章于 2022-03-27 15:05:13 发布
置顶 最新推荐文章于 2022-03-27 15:05:13 发布
阅读量305 收藏
点赞数
分类专栏： spider大集合 文章标签： 数据库 python mysql mongodb 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tianxuancsdn/article/details/109577992
版权

笔者有话要讲！！！！（本篇博客大致分为三个方面：

  • ubuntu下mysql/mongodb的安装以及开启远程连接
  • 网页静态数据的抓取
  • 通过python的来远程访问操作云服务器上的mysql/mongodb）

存储到mysql数据库结果展示：
在这里插入图片描述
存储到mongodb数据库结果展示：
在这里插入图片描述

(插一句，对于一个时间不够用到掉渣的大三考研狗，在配置云服务器上的远程连接花费的时间超乎你的想象（前前后后加上写这篇博客大约四个小时…），简直就是浪费生命，然而本次抓取数据以及持久化存储也有诸多不足的地方：有几个目标字段是动态加载的比如浏览数

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Alexander plus
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
python3 实现爬取TOP500的音乐信息并存储到mongoDB数据库中
01-20
网页版酷狗不能手动翻页进行下一步的浏览，仔细观察第一页的URL： http://www.kugou.com/yy/rank/home/1-8888.html 这里尝试将1改为2，再进行浏览，恰好是第二页的信息，再改为3，恰好是第三页的信息，多次尝试发现...
第三章：python-selenium 浏览器session持久化
qq_38024724的博客
02-08 3645
在做selenium自动化脚本的时候，我们可能会对间隔一段时间就重新触发访问网站的流程，这个过程每次都会打开新的浏览器。长期下去我们的服务器内存会被占用调很大一部分。 如果我们可以在第一次打开浏览器的时候记录一次浏览器session，那么在下次调用脚本的时候就可以先去获取session，然后还是操作之前打开的浏览器。 class ReuseChrome(Remote): def __init__(self, command_executor, session_id): sel
python request保持连接_到HTTP s的urllib.request连接的持久性
weixin_39572288的博客
12-21 818
urllib.request不支持持久连接。代码中有'Connection: close'硬编码。但是http.client部分支持持久连接(包括传统的http/1.0keep-alive)。所以题目可能有误导性。I want to do some performance testing on one of our web servers, to see how the server handle...
python访问手机存储文件夹_python 从文件夹抽取图片另存的方法
weixin_39963053的博客
11-20 148
有一个比较大的数据集需要自己处理，在分出训练集和测试集时，如果靠手动实在太麻烦，于是自己写了一段代码。（其实就是在某一路径下的子文件夹里取出符合要求的图片，放到另一个路径的对应文件夹中）from PIL import Imageimport osimport globdef read_image(cwd,newpath):for roots,dirs,files in os.walk(cwd):p...
python数据抓取的介绍_提取python简介
weixin_39641236的博客
12-16 284
书籍:掌握Python的网络和安全 Mastering Python for Networking and Security - 2018.pdf简介掌握Python的网络和安全掌握Python脚本以构建网络并执行安全操作。越来越明显的是，安全性是IT基础架构的一个关键方面。数据泄露是一个重大的安全事件，通常只是通过黑客攻击简单的网络线路来实现。提高网络的安全性有助于加强对网络攻击的防御。与此同...
Python实现将数据框数据写入mongodb及mysql数据库的方法
12-23
本文实例讲述了Python实现将数据框数据写入mongodb及mysql数据库的方法。分享给大家供大家参考，具体如下： 主要内容： 1、数据框数据写入mongdb方法 2、数据框数据写入mysql方法 为了以后不重复造轮子，这里总结下...
Python中MySQL数据迁移到MongoDB脚本的方法
01-20
随着业务求的变化，需要将线上MySQL数据库中的行记录，导入到MongoDB中文档记录。 一、场景：线上MySQL数据库某表迁移到MongoDB，字段无变化。 二、Python模块： 使用Python的torndb,pymongo和time模块。 *注释...
Python实现读取SQLServer数据并插入到MongoDB数据库的方法示例
09-09
主要介绍了Python实现读取SQLServer数据并插入到MongoDB数据库的方法,涉及Python同时进行SQLServer与MongoDB数据库的连接、查询、读取、写入等相关操作实现技巧,需要的朋友可以参考下
python 提取固定列名数据_python获取数据库列名
weixin_39806288的博客
12-01 6063
{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":4,"count":4}]},"card":[{"des":"阿里云数据库专家保驾护航，为用户的数据库应用系统进行性能和风险评估，参与配合进行数据压测演练，提供数据库优化方面专业建议，在业务高峰期与用户共同保障数据库系统平...
Python远程连接数据库(MongoDB Redis Mysql )
weixin_44580577的博客
05-30 1321
准备工作 一、python需要在本机安装，这里是python官网地址 https://www.python.org/ 二、安装各个数据库驱动 不管是远程连接哪个数据库，都要在本机安装驱动程序 在CMD命令行里分别输入下列代码安装驱动程序 pip install pymongo pip install redis pip install MySQLdb 远程连接MongDB 一、首先打开mongodb的配置文件，找到bindIp: 127.0.0.0这一行，改为bindIp: 0.0.0.0，然后重载配置。
python对象序列化或持久化的方法《原创》
weixin_30273763的博客
12-15 175
随着项目的进展，使用的模块越来越多起来，今天就涉及到python对象持久化的问题了。我现在的需求是既要把数据保存到数据库中，又想保存一份序列化以备以后方便调用，提高效率。之前在用MFC做项目的时候，知道微软VC++在这方面提供了强大的功能。我想，python发展了这么多年了，这方面的能力一定还是有的，因此，经过一番学习，大致弄明白是怎么回事了，不保证正确，如果发现说得不对，希望可以指出来。因此就记...
python--存储数据到MySQL
热门推荐
mingyuli的博客
03-29 1万+
PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个库，Python2中则使用mysqldb。第一、PyMySQL 安装(1)、通过pip安装pymysql步骤：(1).进入下载地址https://github.com/PyMySQL/PyMySQL下载，点击Clone or download(2)、将下载好的文件解压(3)、在cmd窗口中输入一下命令安装成功！（2...
python 字典 列表老是记不住_一日一技：在 Python 中像字典一样持久化数据
weixin_39876877的博客
12-14 110
一日一技：在 Python 中像字典一样持久化数据摄影：产品经理买单：kingname我们知道，如果我们在 Python 中想把一段数据持久化到硬盘上，最简单的办法就是写文件：with open('data.txt', 'w', encoding='utf-8') as f:f.write('username：1234567\n')f.write('password: 9876543\n')但这样...
Linux编程之序列化存储Python对象
小琛笔记
03-03 1087
 发布时间：2006.10.31 14:24     来源：edu.e0755.cn    作者：hasdfh 什么是持久性？持久性的基本思想很简单。假定有一个 Python 程序，它可能是一个管理日常待办事项的程序，您希望在多次执行这个程序之间可以保存应用程序对象（待办事项）。换句话说，您希望将对象存储在磁盘上，便于以后检索。这就是持久性。
【python】处理实时获取的数据
感知算法
03-27 6468
1、实时语音识别、实时监控状态。许多新手在处理离线数据时得心应手，在面对实时的数据进行数据处理时会不知所措。今天分享下python如何处理在线处理数据。简单说下，实际情况要比这复杂的多的多。利用queue、threading多线程处理。如何拿到数据进行处理要根据实际情况来。 2、代码。 import sqlite3 import queue import threading import pandas as pd import numpy as np conn = sqlite3.connect(
KFC门店定点查询（输入城市名称即可查询）
Yuka_bro
01-13 1万+
KFC定点查询（输入城市名称即可查询）
用python 把df数据保存到mongodb数据库中
最新发布
04-07
可以使用pymongo库来实现将DataFrame数据保存到MongoDB数据库中。以下是一个示例代码： ```python import pymongo import pandas as pd # 连接MongoDB数据库 client = pymongo.MongoClient("mongodb://localhost:...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Alexander plus

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值