- 博客(10)
- 收藏
- 关注
RSS订阅原创 [Golang]开启本地代理下Golang进行Http请求
当本地开启翻墙软件是的时候，明明浏览器可以访问，但是用golang的http包却不能访问，为什么会这样尼，其实golang的http走网络7层模型中偏下层，没有走位于上层翻墙软件的代理接口，因此golang的http无法访问，那么如何使用翻墙软件接口尼？需要配置下proxyURL, err := url.Parse(“http://127.0.0.1:10871”)其中的协议一般为http(也可以是socks)ip地址127.0.0.1不用改，端口按照实际的接口修改。
2023-08-18 15:25:09
694
1
原创 Yarn运行原理
yarn的介绍yarn是hadoop集群当中的资源管理系统模块，从hadoop2.0开始引入yarn模块，yarn可为各类计算框架提供资源的管理和调度，主要用于管理集群当中的资源（主要是服务器的各种硬件资源，包括CPU，内存，磁盘，网络IO等）以及调度运行在yarn上面的各种任务。yarn核心出发点是为了分离资源管理与作业监控，实现分离的做法是拥有一个全局的资源管理(ResourceManager,RM)，以及每个应用程序对应一个的应用管理器（ApplicationMaster,AM）总结一句话就..
2020-12-20 14:32:38
2396
转载 各大排序算法的时间复杂度和空间复杂度
排序方法时间复杂度(平均)时间复杂度(最坏)时间复杂度(最好)空间复杂度稳定性复杂性直接插入排序O(n2)O(n2)O(n)O(1)稳定简单希尔排序O(nlog2n)O(n2)O(n1.3)O(1)不稳定较复杂直接选择排序O(n2)O(n2)O(n2)O(1)不稳定简单堆排序O(nlog2n)O(nlog2n)O(nlog2n)O(1)不稳定较复杂冒泡排序O(n2)O(n2)O(n)O(1)稳定...
2020-11-25 17:04:01
261
原创 [Python]使用itchat给指定微信用户发送信息
'''pip install itchat'''import itchatitchat.auto_login()users=itchat.search_friends("xxx")# print(users)userName= users[0]['UserName']# print(userName)for i in range(2): itchat.send('xxxx',toUserName=userName)
2020-10-09 10:29:59
245
原创 逻辑斯蒂回归
import numpy as npdef LogisticRegression(x,y,iters=1000,learning_rate=0.01): w = np.zeros((len(x[0]),),dtype=np.float32) for each in range(iters): for i in range(len(x)): w += learning_rate * x[i] * (y[i] - 1. / (1 + np.exp(-w.
2020-09-10 10:43:48
106
原创 requests + asyncio 异步爬虫
Time: 2020-09-09Author: dsyimport requestsimport osimport asyncioasync def asyncget(url,headers): return requests.get(url,headers=headers,verify=False)async def download(url,headers,fileDir,filename=None): if filename == None: fi..
2020-09-09 20:12:24
477
1
原创 `selenium` 自定义浏览器路径和驱动路径
Time: 2020-07-26Author: dsyfrom selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsimport timeimport randomoptions = Options()options.binary_location = "./chrome/chrome.exe"options.add_argument('–-incognito')options.add
2020-07-26 14:48:22
4678
原创 使用Python爬取YY小视频
Time: 2020-07-25 Author: dsyimport threadingclass ShortVideoDownload(threading.Thread): def __init__(self,downloadurl,downloadDir,filename): threading.Thread.__init__(self) self.downloadurl = downloadurl self
2020-07-25 19:55:32
250
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人