![](https://img-blog.csdnimg.cn/20200413135837417.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
项目实战
文章平均质量分 51
通过实战来夯实基础
稳得一笔
种树最好的时间是十年前,其次是现在
展开
-
【毕设】将mysql中的数据存储到neo4j中
前几天从知网爬取的相关数据已经存到mysql,sql文件已经放在了码云。就在昨天晚上用selenium爬了一晚上知网,早上才发现好多都是重复的数据,3000多条数据基本上能用的就200多,然后不甘心,试了试多线程,由于不太熟悉,导致ip貌似被知网限制,用家里WiFi已经访问不了知网了,只能用手机开热点才能访问知网。计划开学后在完善爬虫吧,这几天先往后做一下知识图谱。-- 删除重复数据并保留id最小的一个 DELETE FROM authorWHERE NAME IN ( SELECT NAME原创 2021-03-25 22:25:02 · 705 阅读 · 0 评论 -
【毕设】知网文献检索列表中的 href 解析为可访问的 URL
文献检索列表中的 href 解析为可访问的 URL设计一个自动化的爬虫,需要获取文献列表中的href,不过有的href值不能直接作为URL进行访问,需要进行解析,本文介绍将获取到的href值解析成可访问的URL原创 2021-03-23 22:05:19 · 2837 阅读 · 1 评论 -
【毕设】csv+py2neo 将CSV文件中的数据存储到 neo4j 中
需求:如图将下列数据存储到neo4j中步骤:1、启动neo4j数据库neo4j console2、安装py2neo,pip install py2neo3、读取csv文件并存储节点# 导入必要的包import csvfrom py2neo import Graph, Nodefrom dataProcess.entity.article import Articlefrom dataProcess.entity.author import Authorfrom dataProcess.原创 2021-03-20 19:38:40 · 1271 阅读 · 0 评论 -
【毕设】requests+bs4+re 爬取知网文献来源的信息
简介知网搜索出来的文献分为不同的类型,比如期刊、论文。当点击文章的来源时,url会进行重定向,例如:期刊经济问题一开始点击进入https://kns.cnki.net/KNS8/Navi?DBCode=cjfq&BaseID=JJWT ,最终为:https://navi.cnki.net/KNavi/JournalDetail?pcode=CJFD&pykm=JJWTurl获取方式为https://kns.cnki.net+href值,href值可通过文章列表的href属性获取本文要获原创 2021-03-17 07:47:25 · 1073 阅读 · 4 评论 -
【毕设】selenium 爬取知网作者信息
1. 获取网页url2. 解析网页,发现网页大部分内容存储在了iframe标签中3. 通过selenium获取信息并保存到CSV文件中4. 更多源码已放置码云原创 2021-03-16 20:58:59 · 1006 阅读 · 1 评论 -
selenium+sqlalchemy 爬取京东商品信息并存入MySQL
导入必要的包# 浏览器驱动from selenium import webdriver# 模拟键盘按键操作from selenium.webdriver.common.keys import Keys# 用于设置休眠和获取时间import time# 数据库相关from sqlalchemy import create_engine, Integer,String,Floatfrom sqlalchemy.orm import sessionmakerfrom sqlalchemy.e原创 2020-06-04 16:49:28 · 921 阅读 · 1 评论 -
简易的图书管理系统(Java+MySQL8.0)
推荐视频:JAVA+MySql 图书管理系统,技术:Swing+jdbc+mysql用到的知识:Java,MySQL工具:IDEA源码已上传至码云点击查看预览效果原创 2020-04-18 10:59:01 · 9658 阅读 · 14 评论 -
将仓库的文件转换成 Markdown 格式的链接
在GitHub的README文件中为自己的文章生成目录,由于一行一行的重复类似的代码,一个一个的打字比较麻烦,所以就想到设计一个程序转换Markdown格式。先看效果:原创 2020-04-17 10:13:28 · 271 阅读 · 0 评论 -
批量重命名音乐文件
从酷狗音乐下载音乐时,发现下载的音乐的文件名都是以歌手开头,看着很难受,而且在酷狗的下载设置里没有下载的文件名设置。原创 2020-04-17 10:08:03 · 5241 阅读 · 0 评论