python 爬虫，将数据转存入sqlite3数据库并写入文件

最新推荐文章于 2024-04-12 20:00:00 发布
最新推荐文章于 2024-04-12 20:00:00 发布
阅读量6k 收藏 21
点赞数 1
分类专栏： Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/G_AOFAN/article/details/84109494
版权

python 爬虫，将数据转存入sqlite3数据库并写入文件
51job.com

import re
from urllib import request
import sqlite3
#导入sqlite3库文件

'''
爬取数据使得到的数据存入数据库
'''

url_print=input('请输入您想要搜索的内容：')
page=input('请输入你想要搜索第几页:')


f=open('D:\\python学习文件\python生成读写的文件\\'+url_print+'.txt','w+')
f.write('关键字'+'        '+'地点'+'        '+'薪资min'+'         '+'薪资max'+'\r\n')

#读取哪一页，表示页数
url='https://search.51job.com/list/010000%252C020000%252C030200%252C040000,000000,0000,00,9,99,'+url_print+',2,'+page+'.html'
#print(url)

#请求 
r=request.urlopen(url)

#读取urllib.request返回的数据
htmls=r.read()

#read（）返回的是二进制序列，利用decode（）转换成ht
最低0.47元/天 解锁文章
G_AOFAN
关注
  • 1
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Django中使用scrapy爬虫并存入数据库
firstday_willow的博客
01-08 1415
创建django项目，并编写models.py，并进行数据迁移 生成迁移文件 python manage.py makemigrations 数据迁移 python manage.py migrate 配置Django嵌入 安装包 pip install scrapy-djangoitem Django项目根目录下创建Scrapy项目（这是scrapy-djangoitem所需要的配...
python数据库表sqlite3模块插入数据
yimaoyingbi的专栏
02-14 1905
import sqlite3 #连接数据库 con = sqlite3.connect('C:\python_learn\DBA\SQLite3demo\sqlite3demo.db') #创建游标 cur = con.cursor() #编写sql语句 sql = 'insert into t_person(pname,age) values(?,?)' #括号中是插入的字段，用逗号隔...
编写爬虫程序，爬取电影网站（https://movie.douban.com/top250）文本数据，并保存至sqlite3数据库的源文件movies.db中；爬取网站全部图片数据，保存至项目的文件夹...
weixin_42604188的博客
12-29 315
首先，需要使用爬虫框架或库，如Scrapy或Beautiful Soup来爬取网站的数据。 然后，可以使用SQLite3库来连接并创建数据库文件。 接下来，可以使用爬虫框架或库中的功能来解析网站的HTML代码，找到你想要的数据(如电影的标题、评分等)。 最后，可以使用SQL语句来将爬取到的数据保存到数据库中。 具体步骤如下： 安装爬虫框架或库(如Scrapy或Beautiful Soup)和SQ...
只需5分钟，利用Python掌握SQLite3
最新发布
Z4400840的博客
04-12 1906
SQLite3是一个内置的Python模块，可以通过Python的标准库轻松地使用，无需进行额外安装和配置。SQLite3支持SQL语句，对数据库的操作简单高效。因此，SQLite3非常适用于小型项目和单机应用程序，是Python开发中常用的数据库解决方案之一，能为程序提供完整的数据库解决方案。
python 将数据写入SQLITE3数据库
weixin_42528089的博客
07-11 5166
利用了创建列表和查询两种方式， １：创建列表的时候　用了一个异常的判断： ２：通过python插入数据到json ： 方法１： temp=[time , agv_id , obstacle,obstacle_name] cursor.execute("insert into exception (time,AGV_ID,Error_ID,infomation) values (?,?,...
python爬虫爬取个人博客导入sqlite数据库
gets_s的博客
01-14 682
import re from bs4 import BeautifulSoup import urllib.request,urllib.error import sqlite3 def main(): #声明要爬取的博客网址 baseurl = "https://blog.csdn.net/gets_s/article/list/" #获取数据 datalist = getData(baseurl) #保存数据 dbpath = "blogs.db"
python3爬取代理信息并写入sqlite3数据库
IT技术专栏
10-07 687
import sqlite3 import bs4 import requests class MyException(Exception): def __init__(self): Exception() return def get_ip(): url = 'http://www.xicidaili.com/nn/' headers ...
Python实现读写sqlite3数据库并将统计数据写入Excel的方法示例
09-09
本示例将介绍如何使用Python读取SQLite3数据库中的数据，并将统计结果写入Excel文件。 首先，确保已安装了`sqlite3`（Python标准库的一部分）和`pandas`（用于数据处理和分析）以及`openpyxl`（用于处理Excel文件）...
Python实现读取TXT文件数据并存进内置数据库SQLite3的方法
09-09
本文将详细介绍如何使用Python读取TXT文件中的数据，并将其存储到SQLite3数据库中，同时也会涉及数据库的基本操作，如创建表、插入数据以及查询数据。 首先，我们需要导入`sqlite3`模块，这是Python标准库的一部分...
利用python操作SQLite数据库及文件操作详解
12-31
最近在工作中遇到一个需求，就是要把SQLite数据中没有存储的文件名的文件删除掉，想来想去还是决定用python。所以也就花了一天半的时间学习了下，随手写了个小例子，下面话不多说了，感兴趣的朋友们一起来看看详细的...
Python解析excel文件存入sqlite数据库的方法
01-21
根据需求建立数据库,建立了两个表，并保证了可以将数据存储到已有的数据库中，代码如下： import sqlite3 def createDataBase(): cn = sqlite3.connect('check.db') cn.execute('''CREATE TABLE IF NOT EXISTS TB_...
python使用sqlite3数据库，主键，自增长主键，数据实时写入
m0_37542524的博客
03-30 7429
文章目录1，运行结果2，代码示例３，参考博客 1，运行结果 2，代码示例 import time import os import os.path as osp import sqlite3 import random def mkdir(dir_name): if not osp.exists(dir_name): os.makedirs(dir_name, ...
爬取csdn博客访问量 保存在sqlite3数据库中
源源源的博客
12-03 194
转载：https://blog.csdn.net/imred/article/details/78149538 #https://blog.csdn.net/imred/article/details/78149538 #使用python抓取csdn博客访问量并保存在sqlite3数据库中 import os import sqlite3 import urllib.request from bs4 import BeautifulSoup # 前缀+页数+后缀拼成URL，HOST用来把链接相对地址转
python使用sqlite3写入、读取图片
llc的博客
06-16 1589
写入 with open('test.jpg', 'rb') as f: content = base64.b64encode(f.read()) sql = f"INSERT INTO street (tileZ,tileX,tileY,image) VALUES (?,?,?,?);" print(sql) cursor.execute(sql, (z, x, y, sqlite3.Binary(content))) con.commit() 读取 cursor = con.cu
python抓取网页数据，并存储到sqlite中
05-23 1071
鸿蒙开发过程中，从网页抓取数据，并生成sqlite轻量级数据库文件，便于进一步实现增删改查。
Django+scrapy，scrapy爬取的数据通过Django的模型保存到数据库
qq_43405173的博客
07-16 1162
首先确认已经安装好Django和scrapy 创建一个Django项目和Django应用 django-admin startproject django_scrapy_test python manage.py startapp novel_test 进入setting进行应用的注册和数据库配置 INSTALLED_APPS = [ 'django.contrib.admin', 'django.contrib.auth', 'django.contrib.contenttype
爬虫数据写入django sqlite3数据库
qq_20712595的博客
12-20 717
1、生成app，设置5个python文件 项目目录/db.py 增加了对链接（link）的页面查询和数据库导入 import os import django from bs4 import BeautifulSoup import requests os.environ.setdefault("DJANGO_SETTINGS_MODULE", "myweb.settings") # ...
Scrapy-django将爬好的数据直接存入django模型中
qq_38839677的博客
10-10 852
项目整体结构： ├── django+scrapy │ ├── example_bot │ │ ├── __init__.py │ │ ├── items.py │ │ ├── pipelines.py │ │ ├── settings.py │ │ └── spiders │ │ ├── __init__.py │ │ ...
python 保存 数据_用Python写爬虫，抓取股票数据保存到DB
weixin_28785069的博客
01-13 270
用Python写爬虫，抓取股票数据保存到DBPython目前已经成为数据研究、机器学习的主要编程语言，今天我们亲自动手用Python3来编写一个简单的爬虫程序，来获取2020年NRI(股票代码：4307)一年的交易数据。*本文需要一定的Python编程基础知识。1. 目标网站分析股票数据网站有很多，本文使用的数据来自一个叫“株式投資メモ”(https://kabuoji3.com/)的网...
python 循环往SQLITE3数据库中写入数据
03-25
A： 可以使用Python的sqlite3模块来实现循环往SQLite3数据库中写入数据的操作。具体步骤如下： 1. 连接到SQLite3数据库： ```python import sqlite3 conn = sqlite3.connect('database.db') # 连接到名为database.db的SQLite3数据库 cursor = conn.cursor() # 创建游标对象 ``` 2. 创建数据表： ```python cursor.execute('''CREATE TABLE IF NOT EXISTS tablename (id INTEGER PRIMARY KEY AUTOINCREMENT, name TEXT NOT NULL, age INTEGER NOT NULL, score REAL NOT NULL);''') ``` 3. 循环写入数据： ```python data_list = [('Alice', 20, 90), ('Bob', 21, 85), ('Cathy', 19, 95)] for data in data_list: cursor.execute("INSERT INTO tablename (name, age, score) VALUES (?, ?, ?)", data) conn.commit() ``` 4. 关闭连接： ```python cursor.close() # 关闭游标对象 conn.close() # 关闭连接 ``` 以上就是循环往SQLite3数据库中写入数据的基本操作步骤。其中，data_list是待写入的数据列表，每个元素都是一个包含name、age、score三个字段值的tuple。在循环中，使用execute方法执行SQL语句进行数据写入，然后使用commit方法提交写入的数据，并且close方法关闭游标对象和数据库连接。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值