- 博客(141)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 chromedp 显示窗口
chromedp现在默认是无头模式的，但是有的时候我们看浏览器执行的状态，还有部分操作是在无头模式下报错，所以需要显示窗口。opts := append(chromedp.DefaultExecAllocatorOptions[:], chromedp.NoDefaultBrowserCheck, //不检查默认浏览器 chromedp.Flag("headless", false), //开启图像界面,重点是开启这个 chr
2021-07-26 01:59:39
2235
原创 chromedp 新选项卡爬虫处理
起因相信很多人都遇到这种情况，我们访问网站的时候，点击某个链接，访问的页面会在浏览器新标签或者新窗口中显示。我在使用chromedp进行爬虫时，如果进行点击事件，并且a标签的属性未target="_blank",chromdp不会获取新标签的Context,而是仍会停留在原来的Context，这个时候我们就需要监听新的标签。例子···go/**注册新tab标签的监听服务*/package mainimport (“context”“github.com/chromedp/cdprot
2021-07-26 01:48:36
3368
1
原创 chromedp 关于iframe的坑
起因最近在使用chromedp进行爬虫的时候，发现怎么都无法获取到内容，最终发现是因为使用了iframe，chromedp获取到iframe的内容，或者无法对iframe进行操作。方法我们可以使用·EvaluateAsDevTools或者Evaluate运行javascript来完成目标。1.获取iframe的内容var res string //存储js执行返回内容 err := chromedp.Run(ctx, // ._2ngM58AmonJc1uOl10jZ_H 大屏监控
2021-07-25 16:57:26
2488
1
原创 layui使用下拉框实现配置切换
<script> layui.use(['form', 'layedit', 'laydate'], function () { function isSelcet(p1) { if (p1 == "真") { return true } else { return false } };
2020-12-06 14:34:30
581
原创 Beego脱坑（十八）静态文件处理
title: Beego脱坑（十八）静态文件处理tags: go，beego，ormauthor : Clown95刚接触beego的小伙伴，不知道有没有遇到这样的问题，在beego中使用的静态文件，并且路径设置的都正确，但是运行的时候，就是不能加载出来。就说我自己在刚开始使用beego的时候，想要使用layui前端框架，但是运行时layui并没有被调用，改来改出，才发现layui被我放错目录了，我没有放在static目录中，最后把layui移动到static目录中网页才正确的加载。Beego.
2020-10-31 23:06:58
14452
原创 go语言抖音直播真实地址提取
package liveimport ( "GetRelLiveUrl/utils" "encoding/json" "fmt" "net/http" "regexp" "strings")type Dy struct { Data struct { Room struct { StreamURL struct { RtmpPullURL string `json:"rtmp_pull_url"` HlsPullURL string `
2020-09-28 14:25:43
2748
原创 go语言实现屏幕截图
借助第三方库https://github.com/kbinani/screenshot安装go get github.com/kbinani/screenshot方法详情查看https://godoc.org/github.com/kbinani/screenshot自定义截图 Capture func Capture(x, y, width, height int) (*image.RGBA, error)返回指定桌面区域的屏幕截图。x,y是起点坐标， width，heig
2020-08-23 00:25:09
7101
1
原创 C# 透明窗口
最简单的实现方法，但是缺点也很多 this.BackColor =Color.White; this.TransparencyKey = Color.White;
2020-08-22 23:15:01
327
原创 go语言post提交数据
POST提交姓、名字，进行姓名评分package crawimport ( "fmt" "github.com/PuerkitoBio/goquery" "github.com/axgle/mahonia" "io/ioutil" "log" "net/http" "strings")func HttpPost(xing,ming string) string { enc:=mahonia.NewEncoder("gbk") xing =enc.ConvertString(
2020-08-18 15:46:21
1696
原创 instagram获取图片地址和视频地址
instagram 获取图片地址和视频地址先保持 以后在详细说明package mainimport ( "bufio" "encoding/json" "fmt" "github.com/unknwon/goconfig" "io/ioutil" "log" "net/http" "net/url" "os" "os/exec" "path/filepath" "strings" "time")var Queryhash stringvar Cookie str
2020-08-16 15:39:16
3927
2
原创 MySql简单增删改查
@插入成员表数据insert into members (name, sex) VALUES ('坂田银时',1);insert into members (name, sex) VALUES ('志村新八',1);insert into members (name, sex) VALUES ('神乐',0);insert into members (name, sex) VALUES...
2020-06-07 10:37:40
244
原创 MySql基本操作
@概述创建动漫银魂数据库，建立组织、成员、职业三张表，为后续章节讲表关系准备数据； 其中每个组织有一个首领，一个首领只能拥有一个组织，为一对一关系； 每个组织有多名成员，而每个成员只属于一个组织，因此组织和成员是一对多的关系； 每名成员可以有多个职业，成员和职业是多对多的关系；@数据库连接-- 本地连接mysql -u 账号 -p 回车输入密码-- 远程连接mysql -...
2020-06-07 10:01:42
195
原创 golang爬取Instagram内容下载地址
title: golang爬取Instagram内容下载地址tags: goauthor: Clown95前言应该是全网首发吧？？？如果转载请添加原作者信息。因为工作需要，需要获取一些小姐姐的图片和视频，然后就瞄上了ins。虽然可以利用一些插件保存图片和视频，但是这种方法不仅效率低，而且繁琐。因此就想通过程序来实现，搜索了一圈也没找到什么好的ins下载器，果断自己撸一个。其实ins获取到它的内容并不难，它就是使用json传递了信息。但是如果想要获得全部内容就比较麻烦，它的内容是通过动态加.
2020-05-26 01:02:29
2091
2
原创 go跨平台编译
编译成Win可用二进制CGO_ENABLED=0 GOOS=windows GOARCH=amd64 go build编译成Linux可用二进制CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build 编译成Mac可用二进制CGO_ENABLED=0 GOOS=darwin GOARCH=amd64 go build注意以上命令都是基于64为...
2020-02-16 16:22:07
350
原创 使用go语言提取ins视频地址和图片地址
先做下代码记录，具体细节有时间再说。package mainimport ( "bufio" "encoding/json" "fmt" "io/ioutil" "log" "net/http" "net/url" "os" "strings" "time")type Instargam struct { Data struct { User struct {...
2019-12-20 14:53:47
1215
原创 使用go chromedp爬虫
title: 使用go chromedp爬虫tags: go，chromedpauthor: Clown95背景最近小伙伴通过某些手段获取到了别人网站上的会员信息，所以他想让我把会员账号爬取下来。其实网站的内容很简单，但是难就难在不知道怎能控制翻页，它既不是通过url参数进行翻页，也不是通过ajax参数翻页。最终我选择chromedp这个库模拟浏览器操作，进行数据爬取。其实这个页...
2019-12-15 14:31:58
6722
1
原创 Go语言检测代理IP
title: Go语言检测代理IPtags: goauthor : Clown95我们使用爬虫的时候需要大量代理，但是并不是所有的代理都是有效的。所以在使用代理前，我们应该先检测下代理是否可用。我们可以使用http.Transport设置代理来访问某个测试地址，如果返回的状态码为200，说明这个代理是可用的。注意：为了能够提升代理检测效率，测试地址尽量使用数据量比较小的站点。例如...
2019-11-29 12:54:20
2416
原创 C#模拟cmd
title: C#模拟cmdtags: c#,cmdauthor : Clown95分享一段C#模拟终端的代码，具体用法直接看summary 。using System;using System.Collections.Generic;using System.Text;using System.Diagnostics;using System.IO;{ clas...
2019-11-28 23:30:33
1131
原创 C#实现淘宝登录
title: C#实现淘宝登录tags: c#author : Clown95背景前一段时间公司某个项目需要监控淘宝订单，这就涉及到模拟淘宝登录的问题。今天我就给大家分享下我的实现方式。功能实现1.首先我们需要添加 WebBrowser 控件 ，然后把Url属性的值设置为淘宝登录页面https://login.taobao.com/member/login.jhtml?re...
2019-11-27 19:20:55
4530
4
原创 Beego脱坑（十五）ORM关系查询
title: Beego脱坑（十五）ORM关系查询tags: go，beego，ormauthor : Clown95关系查询接下来我们将讲解关系查询，关系查询分为 一对多、多对一和多对多。为了更好的演示这些关系我们先建立三个表，分别是Customer、Order和Product。package controllersimport ( "github.com/astaxie/b...
2019-11-25 12:28:58
892
原创 Go语言实现CSDN文章导出
title: Go语言实现CSDN文章导出tags: CSDN,Goauthor: Clown95背景我一直想把在CSDN上面发布的文章保存到本地，然后迁移到简书上。但是CSDN比较闭塞的就是官方不提供迁移接口。所以我只能寻找第三方工具，但是发现要么已经失效，要么就是使用不太友好（对我个人而言）。所以我花了半小时自己撸了一个go语言的导出工具分析我们先来分析如何获取到文章信息：1...
2019-11-16 15:14:32
583
1
原创 Beego脱坑（五）使用模板获取数据
在Controller 那批文章中，我们提到过 Controller有五大部分，其中一个部分就是模板，接下来我们就来完成一个简单的表单页面，并进行交互。获取参数当用户进行注册的时候，需要提交不同的数据类型，beego 为我们提供了一些方法，它会会自动解析这些数据。GetString(key string) string //获取字符串类型GetStrings(key string) ...
2019-11-11 15:19:22
1220
原创 Beego脱坑（三）Router
title: Beego脱坑（三）Routertags: go，beegoauthor : Clown95beego中的路由的主要功能是实现从请求地址到实现方法 ，简单的说就是路由就是能够自动匹配url地址，并调用相应的控制器处理信息。在之前创建beego项目中，我们为了完成hello world的输出，在router.go 中添加了beego.Router("/hel...
2019-11-10 21:26:00
6318
1
原创 共识算法-拜占庭将军问题
title: 共识算法-拜占庭将军问题tags: 区块链,共识算法故事拜占庭是东罗马帝国的首都,由于当时拜占庭罗马帝国国土辽阔,每支军队的驻地分隔很远,将军们只能靠信使传递消息。在打仗的时候，拜占庭军队内所有将军必需达成一致的共识，才能更好地赢得胜利。但是，在军队内有可能存有叛徒，可能会引起下面的问题:叛徒可能欺骗某些将军自己将采取进攻行动。叛徒可能怂恿其他将军行动。叛徒可能迷...
2019-11-07 12:53:44
1296
原创 支付宝、微信免接口支付方案
背景相信很多开发者或者运营者，在为网站即时到账充值发愁、还在为无法申请支付宝即时到账接口而担忧。那么恭喜你，看到了这篇文章，我将为你提供一总思路，为你解决这一切。实现即充即到，支付宝到账的同时，相应的金额充值到您网站的相应账户上 。实现思路一、获取接口我们打开支付宝网站，登录上去并且查询自己的交易记录，我们可以看到选定时间的交易记录表单。看到表单，如果你从事的web开发，这时候你就应...
2019-11-07 10:06:47
11341
2
原创 WebClip完成IOS的Wap封装
title: WebClip完成IOS的Wap封装tags: WebClip,IOSautor: Clown95背景当我们使用PC频繁访问某一个网站的时候，大部分人的做法是创建一个书签或者直接创建一个快捷方式。但是我们在使用移动设备的时候，好像并没有创建桌面快捷方式这么一个功能，是不是只能使用书签来访问呢？又或者我们想要把我们的wap站点封装成IOS应用，直接使用IOS原生封装开发...
2019-11-06 21:33:30
10402
5
原创 Mac终端代理设置
终端设置代理打开终端执行export http_proxy=http://127.0.0.1:1087;export https_proxy=http://127.0.0.1:1087;或者直接执行export all_proxy=http://127.0.0.1:1087;移除代理 unset http_proxy unset https_proxy un...
2019-10-29 19:05:41
944
原创 常用软件 User-Agent 记录
QQ浏览器Androidmozilla/5.0 (Linux; U; Android 5.1; zh-cn; OPPO R9tm Build/LMY47I) AppleWebKit/537.36 (KHTML, like Gecko)Version/4.0 Chrome/37.0.0.0 MQQBrowser/7.5 Mobile Safari/537.36手机QQandroid:...
2019-09-23 16:08:42
1916
原创 ElasticSearch(七) 搜索
title: ElasticSearch(七) 搜索tags: ElasticSearchauthor: Clown95搜索在前面，已经介绍了在ElasticSearch索引中处理数据的基础知识，现在是时候进行核心功能的学习了。搜索主要有两种方式：URI Search操作简便,方便通过命令行测试但是仅包含部分查询语法Request Body Searches......
2019-06-07 17:46:26
2172
5
原创 ElasticSearch(六) Mapping 设置
title: ElasticSearch(六) Mapping 设置tags: ElasticSearchauthor: Clown95Mapping 设置Mapping类似数据库中的表结构定义,主要作用如下:定义Index下的字段名( Field Name )定义字段的类型,比如数值型、字符串型、布尔型等定义倒排索引|相关的配置,比如是否索引、记录position等查看M......
2019-06-07 17:44:16
1885
原创 ElasticSearch(五) 倒排索引与分词
title: ElasticSearch(五) 倒排索引与分词tags: ElasticSearchauthor: Clown95倒排索引与分词倒排索引Elasticsearch 使用一种称为倒排索引的结构，它适用于快速的全文搜索。一个倒排索引由文档中所有不重复词的列表构成，对于其中每个词，有一个包含它的文档列表。为了更好的理解倒排索引，我们先说下《高性能MySql》这本书的目录和...
2019-06-07 17:42:59
746
原创 ElasticSearch(四) API 约定
title: ElasticSearch(四) API 约定tags: ElasticSearchauthor: Clown95API 约定现在我们对Elasticsearch有些了解，现在我们来了解下它的API，Elasticsearch提供了一个REST API，是通过HTTP访问JSON注意：学到这里相信大家对ES的交互有了足够的了解，所以下面为了文章的简洁性，我将不再列出C......
2019-06-07 17:40:28
2303
4
原创 ElasticSearch(三) 基础入门
title: ElasticSearch(三) 基础入门tags: Elasticsearchauthor: Clown95Elasticsearch基础入门当ElasticSearch的实例并运行时，我们如何向ElasticSearch推送数据并构建查询?为了提供这些功能,ElasticSearch对外公开了一个设计精巧的API。这个API是基于REST的，并在实践中能轻松整合到任何......
2019-06-07 17:36:50
936
原创 ElasticSearch(二) 环境搭建
title: ElasticSearch(二) 环境搭建tags: Elastic Stackauthor: Clown95ElasticSearch环境搭建我们使用的环境centos7以及elasticsearch6.1.1我们将禁用 CentOS 7 服务器上的 SELinux。 编辑 SELinux 配置文件。sudo vim /etc/sysconfig/selin......
2019-06-07 17:31:48
571
原创 ElasticSearch(一) 介绍
title: ElasticSearch(一) 介绍tags: Elastic Stackauthor: Clown95ElasticSearch介绍Elasticsearch是一个实时分布式和开源的全文搜索和分析引擎。 它可以从RESTful Web服务接口访问，并使用模式少JSON(JavaScript对象符号)文档来存储数据。它是基于Java编程语言，这使Elasticsearc...
2019-06-07 17:27:23
290
原创 Go全栈面试题（6） -数据结构与算法面试题
title: Go全栈面试题（6） -数据结构与算法面试题tags: goauthor: Clown95数据结构与算法面试题基本排序，哪些是稳定的.选择排序、快速排序、希尔排序、堆排序不是稳定的排序算法，冒泡排序、插入排序、归并排序和基数排序是稳定的排序算法.简述算法的概念以及特征算法是求解一个问题所需要的步骤所形成的解决方法，每一步包括一个或者多个操作。无论是现实生活中还是...
2019-05-28 13:31:36
867
原创 Go全栈面试题（5） -网络编程面试题
title: Go全栈面试题（5） -网络编程面试题tags: goauthor: Clown95网络面试题说一下五层协议应用层 ：为特定应用程序提供数据传输服务，例如 HTTP、DNS 等协议。数据单位为报文。传输层 ：为进程提供通用数据传输服务。由于应用层协议很多，定义通用的传输层协议就可以支持不断增多的应用层协议。运输层包括两种协议：传输控制协议 TCP，提供面向连接、...
2019-05-28 13:29:46
1159
原创 Go全栈面试题（4） -数据库面试题
title: Go全栈面试题（4） -数据库面试题tags: goauthor: Clown95数据库面试题MySQLMySQL的数据类型整型类型存储存储最小值最大值bytebitsignedsignedTINYINT18-27 = -12827-1 = 127SMALLINT216MEDIUMINT324...
2019-05-28 13:28:05
3258
ins图片视频下载器 WIN版本
2020-06-01
CSDN文章导出工具Win版.zip
2020-02-15
CSDN文章导出工具Mac版
2020-02-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人