- 博客(13)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 linux 重启后导致pytorch 无法使用cuda的解决方案
nvidai-smi打开后是可以看到cuda都是安装好的，但是使用pytorch 使用torch.cuda.is_available()是false重新安装cuda和cudnnuname -a 查看对应的型号https://developer.nvidia.com/cuda-downloads下载cuda下载run文件chmod 777 ***.run 文件sudo sh ***.sh 文件输入accept 但是不要在安装显卡驱动了 因为已经安装成功了...
2021-10-11 18:14:05
1017
原创 创新实训总结报告
1.分工我在我们的创新实训队伍当中负责了知乎和头条数据的爬取和整理，实现了给定一个关键词从而查询提供相关问题的内容，更新时间，评论内容，评论数目以及赞同数量等其它数据属性的爬虫，通过爬取的数据存放到mysql中，通过构建本地Elasticsearch，kibana和logstash以及搭建云ELK服务实现了大批量数据的搜索功能，展示功能和分布式功能，能够提供问题排查，监控和预警，关联时间和数据分析的功能，从而为项目提供扎实的数据存储和查询服务。实训主要工作①头条数据的爬取，头条数据的爬取是可以在搜索
2020-06-30 15:34:02
764
1
原创 山东大学创新实训2020/6/25
esmapping的创建与存储已经创建成功连接远程mysql使用logstash实现数据同步四个表连接服务器的mysql 修改参数实现更新导入数据成功这边可以直接搜索数据 比如特朗普
2020-06-29 19:41:27
125
原创 山东大学创新实训2020/6/21
实现数据库的初步写入和查询demoimport timeimport pymysqlimport csvdef get_time(): time_str = time.strftime("%Y{}%m{}%d{} %X") return time_str.format("年","月","日")def get_conn(): """ :return: 连接，游标 """ # 创建连接 conn = pymysql.connect(host
2020-06-29 15:56:05
113
原创 山东大学创新实训2020/6/18
实现Elastic上云本次主要实现elastic上云，有两种情况，一种是直接买阿里的云es，一种是在ecs上配置elk环境，第二种，无非就是前面的再实现一遍。废话不多说，直接上阿里云买个阿里云Elasticsearch买完之后等它生效我就买了个最一般的3个节点，修改es集群配置插件的话都装好了，拿来用就行安全设置，修改合适自己的访问白名单集群控制进入kibana可以远程访问了，到这基本配置完成了创建一个mapping这里用logstash远程传输mysql数据不
2020-06-18 10:53:48
176
原创 山东大学创新实训2020/6/15
ES配置ES分词器安装 由于elasticsearch默认的分词器是全文分词，需要安装ik分词器。进入到bin目录中./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.7.1/elasticsearch-analysis-ik-7.7.1.zip安装成功这里就看最后怎么做了，如果确定是分布式的。就把es 这玩意copy几个，看你准
2020-06-15 18:05:48
193
原创 山东大学创新实训2020/6/13
ES安装进入ES官网https://www.elastic.co/cn/downloads/elasticsearch解压运行（这个我用的是java8，我之前是7.6的版本没问题，如果黄老板有条件的话，最好还是要java11????）进入bin目录运行.bat文件（hhh）http://127.0.0.1:9200/http://127.0.0.1:9200/出现这个安装成功Kibanna安装https://www.elastic.co/cn/downloads/kibana
2020-06-13 20:36:41
169
原创 山东大学创新实训2020/6/8
山东大学项目实训使用爬虫时会会遇到编码错误即使你在编码时设置是utf-8最好的解决办法是修改全部修改为utf-8，问题解决代码直接上class zhihuCrawler(): def __init__(self,query): self.query = query f1 = open("../data/zhihu/"+str(query)+'answer.csv', 'w', encoding='utf-8',newline='')
2020-06-08 23:09:25
227
原创 山东大学创新实训2020/6/7
山东大学项目实训今天完成了数据库的写入主要使用了mysql数据库创建数据库再flak完成数据库的接入from crawler import toutiaoimport pymysqldb = pymysql.connect(host="localhost", port=3308,user="root", passwd="",database="toutiao")cursor = db.cursor()def test(): # query = input('请输入想要查询
2020-06-07 13:04:53
239
原创 山东大学创新实训2020/6/6
山东大学项目实训今天主要做了今天构建了项目的flask模板头条的项目接入头条爬虫的一些小bug，当cookie过期是会提醒用户cookie已不再管用并且将文件自动保存在data下面的toutiao下再次，当用户调用爬虫类时，爬取当前时间所能搜取得全部内容。可以看到头条是有底得，实现了全部爬取。...
2020-06-06 12:07:42
307
原创 山东大学创新实训2020/6/5
山东大学项目实训本次实验实现了对头条数据的爬取，基本实现了给一个关键词就能爬取新闻内容及评论 def get_json(self,query,times): print(times*20) url = 'https://www.toutiao.com/api/search/content/?' query = query data = { 'aid' : '24', 'app_name' : 'web_
2020-06-05 23:16:22
246
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人