Java_网络编程
GZ-豆浆油条
嘿!今天的你 过得还好吗?
展开
-
HTMLParser
HtmlParser可以帮助我们对HTML页面进行分析。HTMLParser的核心模块是org.htmlparser.Paerser类,这个类实际上帮助我们完成了页面的分析工作。 使用HTMLParser的几个关键步骤.1 通过Parser类创建一个解析器Parser parser = Parser.createParser(String HTMl, enc转载 2017-08-28 14:56:39 · 341 阅读 · 0 评论 -
HttpClient实现网络请求
package HttpClient.httpclient.mark;import java.io.InputStream;import org.apache.http.HttpEntity;import org.apache.http.client.methods.CloseableHttpResponse;import org.apache.http.client.methods.HttpG原创 2017-09-13 11:28:41 · 311 阅读 · 0 评论 -
Selenium-基本概念
文章部分内容转载于以下文章: http://www.yiibai.com/selenium/selenium_overview.html http://www.yiibai.com/selenium/selenium_rc.html1. Selenium基本概念:Selenium是一个Web应用程序测试工具。Selenium测试直接运行在浏览器中,支持.Net、Java、Perl等不同语言的测试转载 2017-08-25 15:03:56 · 971 阅读 · 0 评论 -
Selenium+phantomJS
package com.dong.Selenium;import org.openqa.selenium.phantomjs.PhantomJSDriver;import org.openqa.selenium.phantomjs.PhantomJSDriverService;import org.openqa.selenium.remote.DesiredCapabilities;public转载 2017-12-04 17:47:35 · 446 阅读 · 0 评论 -
Cookie简介
因为HTTP协议是一个无状态协议,它不对之前发生的请求和响应的状态进行管理。也就是说,无法根据之前的状态进行本次的请求处理。于是引入了Cookie技术,Cookie技术通过在请求和响应报文中写入Cookie信息来控制客户端信息。Cookie会根据从服务器断发送的响应报文中一个Set-Cookie的首部字段信息,通知客户端保存Cookie。当下一次客户端再往服务器发起请求的时候,客户端就会在请求的报文转载 2017-11-13 22:52:51 · 456 阅读 · 0 评论 -
Selenium+Chrome headless
Chrome-headless官网 Chrome webdriver 下载 1.简介当爬取的页面需要加载数JS或者有异步渲染的时候,可以用得到Selenium+webdriver,如果要想自动化测试放在后台,可以用到:htmlUnit:可以模拟浏览器运行,是一个无界面的浏览器,运行速度快,但是对于js技术支持不太友好;phantomJS: 是一个基于webkit的JavaScript API转载 2017-11-29 20:29:01 · 752 阅读 · 0 评论 -
Java中的正则表达式
1.基本元字符:+: 出现1次或者多次;(至少一次)*: 0次、1次或者多次;(任何次数)?:0次、1次(最多一次)$: 匹配结尾位置^: 匹配开始位置(? <= exp):匹配前面是exp的数据;(?<!exp):匹配前面不是exp的数据;(?= exp):匹配后面是exp的数据;(?!=exp):匹配后面不是exp的数据。菜鸟教程中正则表达式中的元字符2.用到的相关类:原创 2017-09-01 15:19:21 · 367 阅读 · 0 评论 -
WebMagic简述
1.Spider(整个爬虫的调度框架) 2.Downloader(页面下载) 3.PageProcessor(链接提取和页面分析) 4.Scheduler(URL管理) 5.Pipeline(离线分析和持久化)转载 2017-11-10 17:32:30 · 288 阅读 · 0 评论 -
用WebMagic框架写一个简单的爬虫
爬取的目标: TARGET_URL:http://blog.csdn.net/ycd500756 抓取得内容包括每条博客的(标题,时间,阅读次数)分析:步骤: 1.首先写一个Model类package com.mark.WebMagic.CSDN;public class CSDNModel { private String title;//标题 private String原创 2017-11-10 16:29:50 · 399 阅读 · 0 评论 -
URLConnection
JDK8 URLConnection是个抽象类,它表示指向URL指定资源的的活动连接,可以检查服务器的发送的首部,并且处理response信息。它有两个直接子类分别是HttpURLConnection和JarURLConnection。 另外一个重要的类是URL,通常URL可以通过传给构造器一个String类型的参数来生成一个指向特定地址的URL实例。 每个 HttpURLC原创 2017-09-13 10:37:13 · 343 阅读 · 0 评论 -
Selenium显性等待的方式
1.隐形等待 隐形等待:隐性等待是指当要查找元素,而这个元素没有马上出现时,告诉WebDriver查询Dom一定时间。默认值是0,但是设置之后,这个时间将在WebDriver对象实例整个生命周期都起作用。driver.manage().timeouts().implicitlyWait(10, TimeUnit.SECONDS); 2.. 显性等待 显式等待 使用ExpectedCondi转载 2017-11-17 09:43:43 · 5411 阅读 · 0 评论 -
用URL获取网页上的HTML文件
用URL获取网页上的HTML文件有三个步骤构造URL对象url将DataInputStream类对象与url的openStream()流对象绑定利用DataInputStream类对象读取HTML文件示例代码:package Test_10;import java.io.DataInputStream;import java.io.IOException;import java.net.原创 2017-10-22 22:24:00 · 3005 阅读 · 0 评论 -
解析JSON
定义:JSON: JavaScript Object Notation(javaScript对象表示法)热点:存储和交换文本信息的语法,类似于XML,但是JSON比XML更小。、更快、更加容易理解。JSON:菜鸟教程用到的相关Json包Maven下载:<dependency> <groupId>org.json</groupId> ...原创 2017-10-25 17:31:53 · 249 阅读 · 0 评论 -
Selenium常用方法1
元素定位:Webdriver的findElment方法可以用来找到页面中的某个元素。下面简单介绍几种比较常用的方法。By ID 我们知道页面上标签的id属性值是唯一的,所以定位到的元素也是唯一。<input type="text" name="passwd" id="passwd-id" />WebElement element = driver.findElement(By.id("passw原创 2017-08-25 15:44:54 · 211 阅读 · 0 评论 -
Selenium常用方法2
1.在输入框输入指定的内容1.1sendkey()方法public void setValue(WebDriver driver){ String s="测试填入文本框的内容"; driver.get(TARGET_URL); WebElement input = driver.findElement(By.id("kw")); inp原创 2017-10-30 22:59:34 · 298 阅读 · 0 评论 -
JS引擎
1.Rhino Rhino 是一种使用 Java 语言编写的 JavaScript 的开源实现,原先由Mozilla开发,现在被集成进入JDK 6.0。与其他很多语言一样,Rhino 是一种动态类型的、基于对象的脚本语言,它可以简单地访问各种 Java 类库。Rhino 从 JavaScript 中借用了很多语法,让程序员可以快速编写功能强大的程序。最为明显的区别是,Rhino 不再使用语句结束转载 2017-11-29 20:18:57 · 446 阅读 · 0 评论 -
htmlunit
htmlunit 是一款开源的java 页面分析工具,读取页面后,可以有效的使用htmlunit分析页面上的内容。项目可以模拟浏览器运行,被誉为java浏览器的开源实现。是一个没有界面的浏览器,运行速度迅速。是junit的扩展之一..(简HtmlUnit说白了就是一个浏览器,这个浏览器是用Java写的无界面的浏览器,由于内置了Rhinojs引擎,因此可以执行Javascript)但是一般来说,在小型原创 2017-11-29 20:20:19 · 521 阅读 · 0 评论 -
HTTP response code: 403
package com.mark.TestOther; /** * .java.io.IOException: Server returned HTTP response code: 403 */ import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import原创 2017-11-30 14:07:25 · 10029 阅读 · 0 评论 -
ping和telnet
ping语法: ping {IP地址}ping命令对我们来说应该都不默认,ping是基于ICMP协议的,通过该命令可以检查IP的可达性。如下:通过ping的响应信息可见和192.168.1.105机器之间是可以ping通的。正在 Ping 192.168.1.105 具有 32 字节的数据:来自 192.168.1.105 的回复: 字节=32 时间<1ms TTL=64来自 ...原创 2019-06-23 23:10:08 · 481 阅读 · 0 评论