1.使用java简单爬取CSDN
最近在看爬虫相关的知识,其实还是那句话,万变不离其宗。得到网页,然后解析就可以得到我们想要的内容了,但是现在很少用java写爬虫的吧,所以写了一个java爬虫玩一下。
目标网站: CSDN首页
然后java爬虫需要httpcilent请求,jsoup解析,相应的jar包链接如下,下载就好。
链接
提取码:63kv
然后就是代码:
package com.company;
import org.apache.http.HttpResponse;
import org.apache.http.client.HttpClient;
import org.apache.http.client.config.CookieSpecs;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.HttpClientBuilder;
import org.apache.http.util.EntityUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
/**
* @author shelgi
*/
public class Main {
public static void main(String[] args) throws Exception{
// write your code here
HttpClient client = HttpClientBuilder.create().build();
HttpGet hget=new HttpGet("https://www.csdn.net/");
RequestConfig defaultConfig = RequestConfig.custom().setCookieSpec(CookieSpecs.STANDARD).build(); hget.setConfig(defaultConfig);
hget.setHeader("user-agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36");
HttpResponse response=client.execute(hget);
String content= EntityUtils.toString(response.getEntity(),"utf-8");
//jsoup解析网页
Document doc = Jsoup.parse(content);
String title=doc.title();
System.out.println("标题为:"+title);
Elements links=doc.select("#feedlist_id > li> div > div.title > h2 > a");
System.out.println(links);
for(Element link:links){
System.out.println(link.text()+":"+link.attr("href"));
}
}
}
运行效果
2.python的字符动态输出
经常看那些很老的游戏,出现的提示语都是一个字一个字的慢慢出现,现在python也可以实现这个效果,说不定还能用这个做个简单的小游戏呢,话不多说直接上代码。
import sys
import time
question="今天,你学习了吗?"
for word in question:
sys.stdout.write(word)
sys.stdout.flush()
time.sleep(0.2)