- 博客(4)
- 收藏
- 关注
原创 http跨域问题处理之CORS
如何算跨域首先,跨域属于浏览器的行为,服务与服务之间不会产生跨域问题。当一个请求url的协议、域名、端口三者之间任意一个与当前页面的不同即为跨域。在CORS之前的解决方法是在同域内做一个代理,或者使用JSON-P等。随着跨域请求的应用越来越多,W3C提供了跨域请求的标准方案--- CORS模型(Cross-Origin Resource Sharing)。目前主流浏览器均支持CORS。...
2018-02-23 21:07:08 386
原创 用Go来爬虫 goquery使用
应工作内容需求,要爬取两个网站的数据(至于是什么网站,这里就不透露了,哈哈,害怕被发现了封ip),这些数据是定期更新的。由于后端的所有服务都是用go写的,于是不打算用python,还是想用go来完成这个需求,github里搜了下,发现goquery这个爬虫包用的人还挺多的,5000多个star,而且是BSD开源协议,于是毫不犹豫的拿来用了。首先,go get https://github.co...
2018-02-12 21:06:09 13072 4
原创 golang 字符串编码转换 gbk转utf8
问题描述: 需要调取一个第三方的接口,接口返回的内容的编码格式是gbk的,但是golang内建只认utf8,所以需要将gbk的字符串转换为utf8,才能进行后续的数据处理。问题处理: 引入开源包 go get github.com/axgle/mahonia 此包的开源协议是BSD,所以可以放心的引用和使用mahonia源码解读:// ConvertString converts...
2018-02-08 11:21:03 17885
原创 golang读写锁使用
今天调试程序发现一个报错:fatal error: concurrent map writes 是因为多个goroutine对同一个map产出了竞争,解决这个问题的方法有两个,一个是用sync.Map,另一个是加锁。sync.map是go1.9新加的特性,这里暂且先不讨论。而且当前业务场景用读写锁完全可以解决,所以决定使用读写锁。先温习一遍概念:1、互斥锁 其中
2018-02-02 20:55:53 8495
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人