Powershell 简单爬虫示例 附,爬知乎示例 加代理

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_34352010/article/details/53572234
<#

Powershell 调用.Net实现爬虫
同样调用.Net可以实现更多的功能,比如写数据库,发邮件等
#>
$request=[System.Net.WebRequest]::Create('https://www.zhihu.com/question/53415194')
#建立一个请求。也可以用webclient这个类


$proxy=[System.Net.WebProxy]::new()


#创建代理

$proxy.Address="http://xxxxxxx.com:8080"

#代理地址

$proxy.Credentials=[System.Net.NetworkCredential]::new("User","Passwd")

#代理的账户密码

$request.Proxy=$proxy

#让请求使用代理


$response=$request.GetResponse()
#接受回复
$stream=$response.GetResponseStream()
#获取回复的数据
$enc=[System.Text.ASCIIEncoding]::GetEncoding("utf-8")
#定义对数据的编码
$en_stream=[System.IO.StreamReader]::new($stream,$enc)
#对数据进行编码
$data=$en_stream.ReadToEnd()
#$data
#获取编码后的数据
#以上部分开头加上param([Parameter(Mandatory=$True)]此处应有回车[string]$URL)打包一下就是个极简的网页代码获取
$rex="<title>`n*(.*?)`n*</title>"
#定义正则
$data -match $rex 
#正则匹配
$result=$Matches[1] #>C:\Users\kai\Desktop\2.txt
#获得结果。结果中的True 当输出的时候是不存在的。
$result

没有更多推荐了,返回首页

私密
私密原因:
请选择设置私密原因
  • 广告
  • 抄袭
  • 版权
  • 政治
  • 色情
  • 无意义
  • 其他
其他原因:
120
出错啦
系统繁忙,请稍后再试

关闭