springboot整合es实战
在做springboot和elasticsearch整合实战时,elasticsearch服务我用的docker容器,由于是第一次整合遇到许多bug。再次做记录。
1.elasticsearch的服务的跨域问题
解决链接
2.elasticsearch-head创建索引响应406
解决链接
3.由于版本的原因在es6.x需要在往索引增加Document时添加type字段
参考
4.es-head的github地址,告诉我们怎么开启es-head的服务
链接
下面时相关实战:
一、ES数据来源,我选择通过爬虫爬取数据,存到es中
@Component
public class HtmlParseUtil {
public List<Content> parseJD(String keywords)throws Exception{
//1.获取请求
String url = "https://search.jd.com/Search?keyword="+keywords;
//2.解析网页(Jsoup返回Document就是浏览器的Document对象)
Document document = Jsoup.parse(new URL(url), 30000);
Element ele = document.getElementById("J_goodsList");
//System.out.println(ele);
List<Content> list = new ArrayList<>();
//获取所有的li标签
Elements tag_lis = ele.getElementsByTag("li");
//获取元素中的内容,这里每个element就是li标签
for(Element element:tag_lis){
String img = element.getElementsByTag("img").eq(0).attr("src");
String price = element.getElementsByClass("p-price").eq(0).text()