Go Cloud computing
文章平均质量分 66
Cloud computing BigData
0x8g1T9E
0x8g1T9E
展开
-
mac golang 安装 不能选择goroot 解决 The selected directory is not valid home for SDK
go versiongo version go1.17.2 darwin/amd64Navigate to the Go SDK root (executeand findentry), then navigate toinside the Go SDK root.go envGOROOTsrc/runtime/internal/sys Editfile and add an entry on a new line:const theVersion = `...原创 2021-10-15 23:23:38 · 1416 阅读 · 0 评论 -
2020 最受 IT 公司欢迎的 30 款开源软件
Github中文社区看遍Github好玩的项目我们先大概的回顾一下红帽公司发布的企业开源现状的调查报告,然后简单的介绍一下最受IT公司青睐的一些开源项目。这些主要是面向企业的应用软件项目,涵盖Web服务器、大数据、云计算、云存储、操作系统、数据库等几大类别。红帽发布2019年企业开源调查报告开源技术已被广泛应用于企业中,这一点毋庸置疑。像谷歌和微软这样的科技巨头也承认开源的力量——谷歌云最近与 MongoDB、redis Labs、Neo4j 和Confluent 等公司建立合作伙伴关.原创 2021-05-25 14:45:23 · 1990 阅读 · 0 评论 -
Rust&Go&C++比较
最近在用Golang做了一个中型项目开发,从零搭建,所以学到很多,加上之前私下做的俩golang项目和在公司做的三四个golang项目,我也算是用golang做了不少小玩意儿了。所以计划好好学一下golang。期间接触了一点python,但如之前用flask那次一样,死活没爱。而WEB前端这块我还在犹豫到底是学JS ES6,7呢还是TS,加上最近工作和它有点远,还是暂时挂起。而最近发现一个更好玩的语言,Rust,简直令我沉迷,连Go都快被我抛弃了~哈哈。这里记录下Go, C++, Rust...原创 2021-03-17 14:35:48 · 8183 阅读 · 6 评论 -
【已经解决】 | docker的Get https://registry-1.docker.io/v2/: net/http: request canceled 报错 docker 国内源 超快速
Docker错误:docker在下载镜像的时候爆了错,网上一大堆解决方案,并不是完全正确,因此,把解决方案记录下来;> 错误提示一:Get https://registry-1.docker.io/v2/: net/http: request canceled 报错> 错误提示二:Error response from daemon: Get https://index.docker.io/v1/search?q=mysql&n=25: n...原创 2021-01-29 09:14:07 · 6930 阅读 · 0 评论 -
在Ubuntu20.04中安装ROS Noetic
申明:由于项目需要用到ros环境,所以在此记录一下ubuntu20.04下的ROS Noetic安装过程,全程顺序执行一次性安装成功,当然执行下一步的时候上一步必须执行成功,在网络不好的时候可以多尝试几次,以下是我亲自实践的过程,现在分享出来与大家一起交流学习,这个过程全部参考官方安装步骤,此处给出官方链接http://wiki.ros.org/noetic/Installation/Ubuntu。系统要求:Ubuntu20.04ROS安装版本: Noetic安装步骤:1、添加 ...原创 2020-10-29 09:46:30 · 8343 阅读 · 0 评论 -
18大经典数据挖掘算法小结
本文所有涉及到的数据挖掘代码的都放在了我的github上了。地址链接:https://github.com/linyiqun/DataMiningAlgorithm大概花了将近2个月的时间,自己把18大数据挖掘的经典算法进行了学习并且进行了代码实现,涉及到了决策分类,聚类,链接挖掘,关联挖掘,模式挖掘等等方面。也算是对数据挖掘领域的小小入门了吧。下面就做个小小的总结,后面都是我自己相应算法的博文链接,希望能够帮助大家学习。1.C4.5算法。C4.5算法与ID3算法一样,都是数学分类算法,C4..原创 2020-07-07 09:57:11 · 8049 阅读 · 0 评论 -
js几种加密/解密方法
1.斯坦福大学的js加密库(简称SJCL)关于1.是斯坦福大学计算机安全实验室创立的项目,旨在创建一个安全、快速、短小精悍、易使用、跨浏览器的js加密库。如果有更复杂的安全需求,可以查阅API,文档地址是(http://bitwiseshiftleft.github.com/sjcl/doc/),对应的demo页面是(http://bitwiseshiftleft.github.com/sjcl/demo/)。比较容易上手,简单的用下面的代码就可以进行加密、解密数据。sjcl.encrypt(原创 2020-07-06 15:20:24 · 16117 阅读 · 0 评论 -
Docker Compose 引用环境变量
在项目中,往往需要在 docker-compose.yml 文件中使用环境变量来控制不同的条件和使用场景。本文集中介绍 docker compose 引用环境变量的方式。说明:本文的演示环境为 ubuntu 20.04。Compose CLI 与环境变量Compose CLI(compose command-line 即 docker-compose 程序)能够识别名称为 COMPOSE_PROJECT_NAME 和 COMPOSE_FILE 等环境变量(具体支持的环境变量请参考这里)。比如...原创 2020-07-05 09:02:14 · 8352 阅读 · 0 评论 -
你离黑客的距离,就差这20个神器了 (一) 转
郑重声明:本文仅限技术交流,不得用于从事非法活动在不少电影电视剧中,主角的身边都有这么一位电脑高手:他们分分钟可以黑进反派的网络,攻破安全防线,破解口令密码,拿到重要文件。他们的电脑屏幕上都是一些看不懂的图形和数字,你能看懂的就只有那个进度条,伴随着紧张的BGM,慢慢的向100%靠近······上面的场景和套路是不是很眼熟?影视作品中的黑客当然有夸张和戏剧化的表现,不过,现实世界中的黑客也有一套他们的工具库,轩辕君梳理了常用的20个工具。有了他们,你也能化身电脑高手,成为那个瞩目的焦点。以.原创 2020-07-04 13:32:51 · 8383 阅读 · 0 评论 -
ubuntu 20.04 mongo-connector导入数据到Elasticsearch 实践注意事项(一)
https://blog.csdn.net/sirobot/article/details/106919825使用 docker 安装 更好 docker run --name elasticsearch -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -e ES_JAVA_OPTS="-Xms64m -Xmx128m" -v mydata/elasticsearch/config/elasticsearch.yml:...原创 2020-07-03 09:24:17 · 8241 阅读 · 0 评论 -
ubuntu 20.04最全的Python虚拟环境使用方法
写在前面关于Python虚拟环境管理,曾经做为一名新人一直不以为意,心想反正都是我要用的库,全安装在一起,要用直接导入,多好。可是,后来,懂得越来越多的我,不仅流下了悔恨了泪水呀,这一次,关于Python虚拟环境管理的方法一网打尽,喜欢哪种方式,大家自己选吧。再说一次虚拟环境很重要。一、使用virtualenv1. 使用pippip install virtualenv2. 创建运行环境virtualenv [虚拟环境名称] virtualenv venv#如果不想使...原创 2020-07-01 17:02:16 · 14992 阅读 · 1 评论 -
uiautomatorviewer连接机器点击报错Unexpected error while obtaining UI hierarchy
方法一: 推荐方法二参考:https://www.cnblogs.com/lucky0425/p/10955252.html运行开安卓自带的uiautomatorviewer.bat,打开后连接手机,报错如下:纠结了很长时间最终用一位大神的方法得到解决,虽然不太懂原理但是已解决了我的问题,原理以后慢慢研究1.在E盘根目录下创建app.png文本文件2.在E盘根目录下创建app.uix文本文件3.执行以下adb命名: adb...原创 2020-06-24 10:57:32 · 9675 阅读 · 0 评论 -
另辟蹊径,appium抓取app应用数据了解一下!uiautomotor2 && mitmproxy && elasticsearch && kibana (一)
appium在windows系统下环境搭建对于appium的介绍我就不说了,之前的文章介绍过。下面直入主题。命令版本在安装过程中需要有python2环境,装完你可以装python3来写脚本。环境要求:JDK 》java语言安装包 Node.js 》appium命令行版本服务依赖的环境 android-sdk 》安卓开发者工具包 python2 》在安装appium命令行版本服务时需要 .net framework appium-python-client 》python ap.原创 2020-06-23 17:43:48 · 8423 阅读 · 0 评论 -
另辟蹊径,appium抓取app应用数据了解一下!uiautomotor2 && mitmproxy && elasticsearch && kibana (二)
作为爬虫工程师,你一定知道selenium什么是selenium?Selenium原本是一个用于Web应用程序自动化测试工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等。我们爬虫工程师使用selenium来抓取动态web页面。今天,我们来介绍另一款自动化测试工具,Appium。Appium官方文档https://githu原创 2020-06-23 17:09:50 · 7462 阅读 · 0 评论 -
将MongoDB数据加载到Elasticsearch 用Elasticsearch连接到Kibana
一、前言由于业务需要,需要将放在MongoDB的数据加载到Elasticsearch,Elasticsearch天生具有全文检索优势。MongoDB虽然新的版本也支持fulltext,但目前尚未支持中文。所以这里我们就用比较流行的Elasticsearch。另外,为了方便,我会基于Docker搭建MongoDB和Elasticsearch集群二、docker的安装和使用环境:Ubuntu 16.04.5 LTS2.1 如果存在旧版本docker,先删除旧版本$ sudo apt-get原创 2020-06-23 11:44:13 · 6649 阅读 · 0 评论 -
另辟蹊径,appium抓取app应用数据了解一下!uiautomotor2 && mitmproxy && elasticsearch && kibana
https://www.imooc.com/article/80382再给大家安利一个谷歌浏览器的的插件,使用后可以查看WebView中元素的Id,很方便在chrome浏览器输入如下地址:chrome://inspect/1然后就能监听到模拟器中的WebView了,然后点击下方图片中的inspect,再刷新UiAutomatorViewer的界面,就会发现,WebView也能展开查看其元素了,这个主要用在自动化测试中获取控件ID吧。原文链接:https://blog.csdn.net/l.原创 2020-06-23 11:09:32 · 6276 阅读 · 0 评论 -
[在线挑战]【i春秋】渗透测试入门 —— 渗透测试笔记 --转
【i春秋】渗透测试入门 —— 渗透测试笔记,原文 0x00 前言 本题算是一道较为综合的渗透题,要求对两个服务器系统进行渗透,第一个是基于齐博 CMS的信息资讯平台http://www.test.ichunqiu,第二个是基于Discuz!的论坛社区http://bbs.test.ichunqiu。这两个 CMS 同样能在网上找到许多漏洞,常用作渗透测试的练习靶机。 根据提示,第 1 题要求找到咨询平台的管理员账号密码...原创 2020-06-22 16:17:06 · 7691 阅读 · 0 评论 -
Ubuntu 18.04安装k8s 集群
实际生产环境集群或单机AllInOne安装推荐参照easzlab/kubeasz项目https://github.com/easzlab/kubeasz注意:该项目的kubernetes_dashboard的服务对外暴露采用的是NodePort方式 访问kubernetes_dashboard需要使用firefox浏览器分块手动安装便于理解和学习环境: 两台装有Ubuntu的机器 一台作为master 一台作为work node更改ubuntu的apt源替换cn.archi...原创 2020-06-22 15:31:05 · 5674 阅读 · 0 评论 -
Ubuntu 终端路径名太长
Ubuntu 终端路径名太长在文件末尾,加上export PS1='[\u@\h \w]$ '其中,\u 表示当前用户名 \h 表示当前主机名(hostname) \w 表示当前路径其实还可以减少到更短,只保留当前路径,如下exportPS1='[\w]$'也可以修改 这一段 小写 w 改为 大写 W 两个地方都有改vim ~/.bashrcif [ "$color_prompt" = yes ]; then PS1='${debi...原创 2020-06-21 18:06:36 · 5674 阅读 · 0 评论 -
使用Docker分布式部署爬虫系统Pyspider
阅读准备docker基础命令,docker-compose基础 pyspider基础如果您不熟悉上面的内容,可以先网上查阅有关资料。1. 创建网络接口首先,创建一个Driver为bridge的网络接口,命名为pyspider:docker network create --driver bridge pyspider 说明1: 需要创建该网络接口的原因是:在下面创建Docker容器的过程中,我们使用了docker和docker-compose分别创建了不同的服务。按正常来说,如果.原创 2020-06-20 11:50:10 · 5835 阅读 · 0 评论 -
ubuntu20.04 下 同时启动多个scrapyd 服务
查找scrapyd的路径find / -name scrapyd找到包安装目录下的scrapyd配置文件 cd /root/anaconda3/lib/python3.6/site-packages/scrapyd打开default_scrapyd.conf的配置如下,修改bind_address = 0.0..0.0(允许远程访问)[scrapyd]eggs_dir = eggslogs_dir = logsitems_dir =jobs_to_keep ..原创 2020-06-12 10:56:10 · 5636 阅读 · 0 评论 -
Ubuntu20.04 下搭建Kubernetes集群--k8s部署
1. 关闭swap并关闭防火墙首先,我们需要先关闭swap和防火墙,否则在安装Kubernetes时会导致不成功:# 临时关闭swapoff -a# 编辑/etc/fstab,注释掉包含swap的那一行即可,重启后可永久关闭ufw disable2.配置阿里源sudo echo "deb http://mirrors.ustc.edu.cn/kubernetes/apt kubernetes-xenial main" > /etc/apt/sources.list...原创 2020-06-11 14:43:17 · 8914 阅读 · 0 评论 -
MongoDB 副本集 复制集节点增加移除及节点属性配置
复制集(replica Set)或者副本集是MongoDB的核心高可用特性之一,它基于主节点的oplog日志持续传送到辅助节点,并重放得以实现主从节点一致。再结合心跳机制,当感知到主节点不可访问或宕机的情形下,辅助节点通过选举机制来从剩余的辅助节点中推选一个新的主节点从而实现自动切换。对于一个已经存在的MongoDB Replica Set集群,可以对其进行节点的增加,删除,以及修改节点属性等等。本文即是围绕这些进行描述。有关MongoDB复制集概念及其搭建,可以参考:MongoDB 复制集(Repli原创 2020-06-10 10:18:45 · 6002 阅读 · 0 评论 -
下载ubuntu系统镜像的国内源地址,超快 国内镜像源(阿里、网易、清华、中科大)
ubuntu20.04下载地址: 中科大源http://mirrors.ustc.edu.cn/ubuntu-releases/20.04/ 阿里云开源镜像站http://mirrors.aliyun.com/ubuntu-releases/20.04/ 兰州大学开源镜像站http://mirror.lzu.edu.cn/ubuntu-releases/20.04/ 北京理工大学开源http://mirror.bit.edu.cn/ubuntu-releases/20.04/ 浙江...原创 2020-05-24 00:53:09 · 18793 阅读 · 2 评论 -
用nginx配置反向代理 搭建cdn服务以及缓存教程
用nginx配置反向代理 搭建cdn服务以及缓存教程,什么是反向代理?1、有两台服务器A和B属于同一内网段,但是A不通外网,B通外网,客户端C只有外网2、C想通过B访问A,就需要在服务器B上做反向代理3、客户端C通过外网与服务器B通信,服务器B通过内网转发客户端C的请求与服务器A通信。测试场景:服务器A 内网IP地址:192.168.234.128 部署了上一篇文章中的bbs网站服务器B 内网IP:192.168.234.130 外网IP:192.168.1...原创 2020-05-16 13:07:56 · 6599 阅读 · 0 评论 -
Linux ubuntu20.04 下虚拟机VMware15.2安装MacOS10.15
先看效果图,欢迎指正一、安装VMware15ubuntu安装VMare网上很多教程,在此就简要说下,可以参考我的博客https://blog.csdn.net/sirobot/article/details/1057749741、去VMare官网(慢)或者其他途径下载VM的linux安装包,如图选择自己需要的版本和系统 官网链接2、更改添加安装包可执行权限chmod +x VMware-Workstation-Full-XXX.bundle3、运行安装包,一路next.原创 2020-05-12 23:36:09 · 7323 阅读 · 0 评论 -
【转】渗透测试环境搭建常用命令方法checklist(iOS&&Android)
渗透测试环境搭建(iOS&Android)mobile渗透测试常用命令方法(iOS&Android)https://blog.csdn.net/chouzhi1907/article/details/100749464?utm_medium=distribute.pc_relevant_right.none-task-blog-BlogCommendFromBaidu-11.nonecase&depth_1-utm_source=di...原创 2020-05-11 10:18:34 · 5532 阅读 · 0 评论 -
微信 小程序 APP 渗透测试方案
1 、APP渗透测试简介模拟黑客对应用进行安全性测试,审计其风险,提供解决方案。可帮助企业全面发现业务漏洞及风险。在黑客之前找到可导致企业数据泄露、资损、业务被篡改等危机的漏洞,企业可对漏洞进行应急响应、及时修复。避免对企业的业务、用户及资金造成损害。1.1 服务内容1.1.1 安全性漏洞挖掘 出应用中存在的安全漏洞。安应用检测是对传统安全弱点的串联并形成路径,最终通过路径式的利用而达到模拟入侵的效果。 发掘应用中影响业务正常运行、导致敏感信息泄露、造成现金和信誉损失的等的漏洞。1.1...原创 2020-05-11 09:55:26 · 10493 阅读 · 2 评论 -
轻松配置ssl,网站从http转到https
前言目前,我们常用的网站,都已升级到https访问,而且很多的专家也建议实施全站https,下面记录了我在升级https过程中遇到的几个坑,希望能对后来者有所帮助。先展示效果图思路要实现https访问网站,需要理清思路。1. 申请网站ssl安全证书:2. 验证域名所有权验证方式一般分为:DNS验证和文件验证,大多数人可能使用的DNS验证,因为我没有备案域名,所以只能采用文件验证。3. 下载证书和部署将证书上传到服务器,并在Nginx服务器中添加htt...原创 2020-05-08 18:31:49 · 5562 阅读 · 0 评论 -
iOS APP 安全测试
1、ipa包加壳 首先,我们可以通过iTunes 下载 AppStore的ipa文件(苹果 把开发者上传的ipa包 进行了加壳再放到AppStore中),所以我们从AppStore下载的ipa都是加壳的,所以不能直接用来反编译。 得到ipa文件 可以分析APP 里包含的一些资源,如:图片、plist文件、静态wap页、.bundle 等。 所以不要 在plist文件、项目中...原创 2020-05-08 14:25:14 · 6385 阅读 · 0 评论 -
七个免费的APP应用安全测试工具
根据Statista的统计,2017年全球APP下载数累计高达1970亿次,而根据checkpoint的企业移动安全调查报告,79%的IT专业人士认为保护移动设备安全的难度越来越大,与此同时越来越多的APP曝光安全问题,例如Ioactive最新报告显示全球21款主流移动证券APP的安全现状非常糟糕。虽然移动安全威胁与日俱增,但也有利好消息,例如市场上涌现了大量app安全测试工具,涵盖...原创 2020-05-08 11:23:42 · 5742 阅读 · 0 评论 -
知识图谱-全 - 2019年各行业知识图谱
https://blog.csdn.net/chenyao1994/article/details/103359381https://www.bilibili.com/video/BV1D54y1Q78b?p=141原创 2020-05-01 16:58:23 · 5994 阅读 · 0 评论 -
电脑如何通过usb共享手机网络 Linux安装wifi 无线网络 811AC usb网卡驱动
电脑如何通过usb共享手机网络 该方法是通过USB线将手机和电脑连接的方式来共享网络,所以不管是笔记本电脑还是台式机,不管电脑有无线网卡,都可以使用该方法。 准备工作:首先用数据线把手机连接到电脑上,由于电脑最终使用的是手机本身的流量,所以需要保证手机能够正常上网。 2 接下来就是设置手机的USB共享模式,具体操作方法为:点击进入手机的“设置”...原创 2020-04-26 19:02:11 · 6937 阅读 · 0 评论 -
ubuntu--20.04 安装中文输入法(google拼音)
安装指令: sudo apt-get install language-pack-zh-hans sudo apt-get install fcitx-googlepinyin原创 2020-04-26 18:57:54 · 19126 阅读 · 0 评论 -
ubuntu20.04 安装vmware 15.5.2
https://www.vmware.com/cn/products/workstation-pro/workstation-pro-evaluation.html下载 for linuxsudo bash ./xxxxx.sh原创 2020-04-26 18:56:55 · 12632 阅读 · 1 评论 -
VirtualBox扩展包安装教程|VirtualBox扩展增强包怎么安装VirtualBox识别USB教程
VirtualBox扩展包安装教程|VirtualBox扩展增强包怎么安装VirtualBox是一款功能强大的免费虚拟机软件,一般我们安装VirtualBox后要安装扩展增强包,VirtualBox扩展包包含USB2.0和USB3.0控制等支持功能,如果没有装,在使用过程中会提示用户需要安装扩展包,那么VirtualBox扩展包怎么安装呢?其实安装方法非常简单,下面一起来学习下VirtualB...原创 2020-04-26 16:52:52 · 8262 阅读 · 0 评论 -
Golang 网络爬虫框架gocolly/colly 四
爬虫靠演技,表演得越像浏览器,抓取数据越容易,这是我多年爬虫经验的感悟。回顾下个人的爬虫经历,共分三个阶段:第一阶段,09年左右开始接触爬虫,那时由于项目需要,要访问各大国际社交网站,Facebook,myspace,filcker,youtube等等,国际上叫得上名字的社交网站都爬过,大部分网站提供restful api,有些功能没有api,就只能用http抓包工具分析协议,...原创 2020-04-23 10:37:10 · 5939 阅读 · 0 评论 -
ubuntu 18.04 安装并配置adb
ubuntu 18.04 安装并配置adb获取最新的adb包wgethttps://dl.google.com/android/repository/platform-tools-latest-linux.zip将软件包解压到指定位置sudo unzip -d /usr/local/sbin platform-tools-latest-linux.zip获取adb、fas...原创 2020-04-22 14:21:31 · 6993 阅读 · 0 评论 -
horysk资料整理- 本人
https://blog.csdn.net/luanpeng825485697/category_9271956.html 数据架构师原创 2020-04-22 14:01:47 · 5265 阅读 · 0 评论 -
解决ubuntu中virtualbox虚拟机检测不到USB或设置2.0报错的问题
virtualbox虚拟机检测不到USB或设置2.0报错,出现invalid settings detectedaptitude search virtualboxsudo apt-get install virtualbox-ext-packcat /etc/group | grep vboxuserssudo usermod -aG vboxusersusername...原创 2020-04-22 11:04:04 · 6202 阅读 · 0 评论