这篇博客介绍了使用IDEA进行爬虫开发，针对大数据领域的招聘信息进行爬取。作者分享了初步尝试的体验，提到利用线程池提高效率，并计划后续学习将数据存储到数据库，提升实用性。
某工厂来学校培训大数据爬虫，先提供个网页
<%@ page language="java" import="java.util.*" pageEncoding="utf-8"%>
<html>
<head>
<link rel="stylesheet" href="layui/css/layui.css">
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<title>大数据-烟台徐老师</title>
<script src="js/jquery-3.2.1.min.js"></script>
<script src="layui/layui.js"></script>
<script src="js/indexAjax.js"></script>
<script src="js/indexAjax2.js"></script>
<script src="js/indexAjax3.js"></script>
<script src="js/indexAjax4.js"></script>
<script src="js/indexAjax5.js"></script>
<script>
function scrapy() {
// var layer = layui.layer;
$.ajax({
url:'${pageContext.request.contextPath }/scrapy.do',
success:function () {
layui.use('layer', function(){
var layer = layui.layer;
layer.alert('爬取成功！');
});
}
});
}
</script>
<link rel="stylesheet"
href="layui/css/layui.css">
</head>
<body class="layui-layout-body">
<div class="layui-layout layui-layout-admin">
<div class="layui-header">
<div class="layui-logo">
<a href="index.jsp"><img src="images/logoblack.png" /></a>
</div>
<!-- 头部区域（可配合layui已有的水平导航） -->
<ul class="layui-nav layui-layout-left">
<li class="layui-nav-item"><a href="">控制台</a></li>
<li class="layui-nav-item"><a href="">商品管理</a></li>
<li class="layui-nav-item"><a href="">用户</a></li>
<li class="layui-nav-item"><a href="javascript:;">BigData</a>
<dl class="layui-nav-child">
<dd>
<a href="showCrawlerData.jsp" target="main">查询数据</a>
</dd>
<dd>
<a href="recruit/insertZhiRecruit">智联招聘</a>
</dd>
<dd>
<a href="javascript:scrapy();">前程无忧</a>
<
最低0.47元/天 解锁文章
1194
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
