python
文章平均质量分 59
cai包包
编程爱好者
希望和别人共享经验 共同学习 共同进步
展开
-
linux 重启后导致pytorch 无法使用cuda的解决方案
nvidai-smi打开后是可以看到cuda都是安装好的,但是使用pytorch 使用torch.cuda.is_available()是false重新安装cuda和cudnnuname -a 查看对应的型号https://developer.nvidia.com/cuda-downloads下载cuda下载run文件chmod 777 ***.run 文件sudo sh ***.sh 文件输入accept 但是不要在安装显卡驱动了 因为已经安装成功了...原创 2021-10-11 18:14:05 · 956 阅读 · 0 评论 -
创新实训总结报告
1.分工我在我们的创新实训队伍当中负责了知乎和头条数据的爬取和整理,实现了给定一个关键词从而查询提供相关问题的内容,更新时间,评论内容,评论数目以及赞同数量等其它数据属性的爬虫,通过爬取的数据存放到mysql中,通过构建本地Elasticsearch,kibana和logstash以及搭建云ELK服务实现了大批量数据的搜索功能,展示功能和分布式功能,能够提供问题排查,监控和预警,关联时间和数据分析的功能,从而为项目提供扎实的数据存储和查询服务。实训主要工作①头条数据的爬取,头条数据的爬取是可以在搜索原创 2020-06-30 15:34:02 · 730 阅读 · 1 评论 -
山东大学创新实训2020/6/29
数据库给的晚,这里创建4个索引原创 2020-06-30 15:33:10 · 130 阅读 · 0 评论 -
山东大学创新实训2020/6/13
ES安装进入ES官网https://www.elastic.co/cn/downloads/elasticsearch解压运行(这个我用的是java8,我之前是7.6的版本没问题,如果黄老板有条件的话,最好还是要java11????)进入bin目录运行.bat文件(hhh)http://127.0.0.1:9200/http://127.0.0.1:9200/出现这个安装成功Kibanna安装https://www.elastic.co/cn/downloads/kibana原创 2020-06-13 20:36:41 · 166 阅读 · 0 评论 -
山东大学创新实训2020/6/8
山东大学项目实训使用爬虫时会会遇到编码错误即使你在编码时设置是utf-8最好的解决办法是修改全部修改为utf-8,问题解决代码直接上class zhihuCrawler(): def __init__(self,query): self.query = query f1 = open("../data/zhihu/"+str(query)+'answer.csv', 'w', encoding='utf-8',newline='')原创 2020-06-08 23:09:25 · 223 阅读 · 0 评论 -
山东大学创新实训2020/6/7
山东大学项目实训今天完成了数据库的写入主要使用了mysql数据库创建数据库再flak完成数据库的接入from crawler import toutiaoimport pymysqldb = pymysql.connect(host="localhost", port=3308,user="root", passwd="",database="toutiao")cursor = db.cursor()def test(): # query = input('请输入想要查询原创 2020-06-07 13:04:53 · 237 阅读 · 0 评论 -
山东大学创新实训2020/6/6
山东大学项目实训今天主要做了今天构建了项目的flask模板头条的项目接入头条爬虫的一些小bug,当cookie过期是会提醒用户cookie已不再管用并且将文件自动保存在data下面的toutiao下再次,当用户调用爬虫类时,爬取当前时间所能搜取得全部内容。可以看到头条是有底得,实现了全部爬取。...原创 2020-06-06 12:07:42 · 302 阅读 · 0 评论 -
山东大学创新实训2020/6/5
山东大学项目实训本次实验实现了对头条数据的爬取,基本实现了给一个关键词就能爬取新闻内容及评论 def get_json(self,query,times): print(times*20) url = 'https://www.toutiao.com/api/search/content/?' query = query data = { 'aid' : '24', 'app_name' : 'web_原创 2020-06-05 23:16:22 · 245 阅读 · 0 评论 -
山东大学创新实训2020/6/4
山东大学项目实训原创 2020-06-04 17:41:48 · 387 阅读 · 0 评论