三种资源最好不要放进数据库存储

 

三种资源: 图片、文件、二进制文件;

 

以上文件放进数据库存储,产生一些问题如下:

1、系统对数据库的读/写速度 < 系统对文件的直接读/写速度;

2、占用数据库的备份资源,不利于数据库备份;

3、文件访问穿越应用层和数据层;

 

好的,这是一个比较复杂的问题,我会尽力为您解答。首先,爬取京东手机多页网页需要使用Python的requests库和BeautifulSoup库。以下是示例代码: ```python import requests from bs4 import BeautifulSoup import pymysql # 连接数据库 conn = pymysql.connect(host='localhost', user='root', password='password', database='testdb', charset='utf8mb4') cursor = conn.cursor() # 爬取数据 for i in range(1, 11): url = 'https://list.jd.com/list.html?cat=9987,653,655&page={}'.format(i) r = requests.get(url) soup = BeautifulSoup(r.text, 'html.parser') # 解析数据 items = soup.find_all('li', class_='gl-item') for item in items: sku = item['data-sku'] name = item.select('.p-name em')[0].text.strip() price = item.select('.p-price i')[0].text.strip() shop = item.select('.p-shop a')[0].text.strip() # 插入数据到数据库 sql = "INSERT INTO jd_phone (sku, name, price, shop) VALUES ('{}', '{}', '{}', '{}')".format(sku, name, price, shop) cursor.execute(sql) conn.commit() # 关闭数据库连接 cursor.close() conn.close() ``` 上述代码会爬取京东手机分类的前10页数据,并将数据插入到名为`jd_phone`的MySQL数据库中。 接下来,使用pyecharts库进行数据可视化处理。以下是示例代码: ```python from pyecharts import options as opts from pyecharts.charts import Bar import pymysql # 连接数据库 conn = pymysql.connect(host='localhost', user='root', password='password', database='testdb', charset='utf8mb4') cursor = conn.cursor() # 查询数据 cursor.execute("SELECT shop, COUNT(*) FROM jd_phone GROUP BY shop ORDER BY COUNT(*) DESC") data = cursor.fetchall() # 绘制柱状图 x_data = [d[0] for d in data] y_data = [d[1] for d in data] bar = ( Bar() .add_xaxis(x_data) .add_yaxis("手机数量", y_data) .set_global_opts(title_opts=opts.TitleOpts(title="京东手机店铺销量排名")) ) bar.render("jd_phone.html") # 关闭数据库连接 cursor.close() conn.close() ``` 上述代码会从名为`jd_phone`的MySQL数据库中查询每个店铺的销售数量,并绘制出柱状图。最后,将图表保存为`jd_phone.html`文件。 希望上述代码对您有所帮助!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值