Java爬虫项目环境搭建

Github Clone项目、创建分支

  1. 下载Github for Windows桌面客户端
  2. 把master主分支clone到本地先把master主分支clone到本地 客户端界面操作: File-Clone repository 选中要clone的项目
  3. 创建自己的分支 客户端界面操作:Branch-New branch 基于master创建,给分支命名
  4. 打开intellij idea - Import project - 选中clone的master主分支本地存储路径在这里插入图片描述
    在这里插入图片描述
    一路Next,选中JDK1.8,最后Finish
    层级结构如图所示
    在这里插入图片描述
    5、启动项目
    在这里插入图片描述
    打开chrome 输入 http://localhost:8080/test
    结果如图所示
    在这里插入图片描述

修改代码并提交分支,合并到主分支

commit代码前要先pull,然后commit,commit的提交到了本地代码,紧接着push到远程分支
在这里插入图片描述
可以在github客户端中查看
在这里插入图片描述
合并到master主分支,我是先把分支切换到主分支,然后Branch-Merge into current branch 选中自己的分支,将分支上的内容merge into到主分支即可
在这里插入图片描述

  • 3
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在IntelliJ IDEA(IDEA)搭建爬虫环境并进行测试是一个常见的步骤,通常涉及到以下几个步骤: 1. **安装相关插件**: - 安装Java开发支持:确保你已经安装了Java SDK,并且在IDEA配置了正确的版本。 - 安装爬虫库:如Jsoup、Apache HttpClient或Spring框架的WebClient等,有时可能需要额外的插件支持,例如for Jsoup叫做"org.jsoup"。 2. **创建项目结构**: - 创建一个新的Java项目,选择"Maven"或"Gradle"作为构建工具,因为它们都支持模块化和依赖管理。 - 在项目结构,你可以创建一个专门的模块(如"spiders"或"web-scraping")来存放爬虫相关的代码。 3. **添加依赖**: 在pom.xml(Maven)或build.gradle(Gradle)文件添加所需的爬虫库依赖。例如,如果用Jsoup,你可以这样添加: ```xml <dependencies> <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>最新版本号</version> </dependency> </dependencies> ``` 4. **编写爬虫代码**: 使用所选库开始编写爬虫代码。例如,用Jsoup的基本步骤可能包括: - `Document doc = Jsoup.connect("http://example.com").get();` - 解析HTML内容:`Elements elements = doc.select("selector");` - 提取信息:`String data = elements.text();` 5. **测试爬虫**: - 在IDEA运行测试类,可以使用JUnit或其他单元测试框架编写针对爬虫功能的测试用例。 - 测试HTTP请求是否正确响应,解析是否准确无误。 6. **异常处理和日志**: 不要忘记处理可能出现的网络异常,使用try-catch块并记录日志,以便调试。 7. **遵循网站规则**: 在编写爬虫时要遵守Robots协议,并尊重网站的抓取政策。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值