python写入文件没反应_保存到mysql数据库没反应,打印时正常的但是没插入任何数据,写入文件也没用...

#-*- conding:utf-8 -*-

import requests,re,pymysql

from pyquery import PyQuery as pq

url_index = ['http://finance.eastmoney.com/news/cgnjj_{}.html'.format(pages) for pages in range(1,2)]

def index_content(url_index,title=0,time=0):

#print('起始页:' + url_index)

index_req = requests.get(url_index,timeout = 10)

index_req.encoding = 'utf-8'

index_content = index_req.text

content_url = re.findall('

.*?

.*?',index_content,re.S)

title = re.search('

.*?(.*?)',index_content,re.S).group(1)

time = re.search('

(.*?)

',index_content,re.S).group(1).replace("年", "-").replace("月", "-").replace("日", "")

#time = time_content

#re.sub(".", "", title)

#print('标题:' + title)

#print('时间:' + time)

return content_url

def content(content_url):

content_req = requests.get(content_url,timeout = 10)

content_req.encoding = 'utf-8'

content = content_req.text

title = re.search('

(.*?)

',content,re.S).group(1)

time = re.search('

(.*?)
',content,re.S).group(1).replace("年", "-").replace("月", "-").replace("日", "")

sources = re.search('

.*? 来源:(.*?)
',content,re.S).group(1)

content_content = re.search('(.*?)',content,re.S).group(1)

pic = re.findall('''.*?src="https://z1.dfcfw.com(.*?)"''',content_content,re.S)#.sub('.*?same.*?','',content_content)

content_body = {'title:':title,

'time:':time,

'source:':sources,

'content:':content_content,

'pic:':pic

}

# print('网址:' + content_url)

# print ('标题:' + title)

# print ('时间:' + time)

# print ('来源:' + source)

# print ('内容:' + content_content )

# print (pic)

print(type(title))

return content_body

def save_sql(content_body):

try:

db = pymysql.connect("localhost","root","root","test" )

cursor = db.cursor()

#sql = """INSERT INTO test(title,source_time, source, content_body, pageurl,pic)VALUES (title,time,source,content_content,content_url,pic)"""

# 执行sql语句

sql = """INSERT INTO test(title,source_time, sources, content_body, pageurl,pic)VALUES (%s,%s,%s,%s,%s,%s)"""

# 执行 sql 语句

cursor.execute(sql,(title,time,sources,content_content,content_url,pic))

#cursor.execute(sql)

# 提交到数据库执行

db.commit()

except:

# 如果发生错误则回滚

db.rollback()

# 关闭数据库连接

db.close()

def save_csv(con):

with open('C:\\Users\\Administrator\\Desktop\\finance.csv','wb+') as f: #wb为以二进制方式打开

con = str.encode('utf-8')

f.write(con)

f.close()

for url_list in url_index:

content_url = index_content(url_list,title=0,time=0)

for con_url in content_url:

cons = content(con_url)

print(cons)

save_sql(cons)

# for con in cons:

# #print(con)

# save_csv(con)

#save_sql(con)

运行没报错,也能正常打印输出,但是就是保存不到数据库...而且保存到文件的时候,老是提示类型不对,字典、元组、字符串都不行,帮忙看下..

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值