- 博客(33)
- 收藏
- 关注
RSS订阅原创 2020-10-11
csv导入mongoDB原需求只给了个粗糙的excel，要求将里面的数据导入mongoDB。step：xlsx转csv。直接改名是不行的，直接乱码。https://convertio.co/zh/ 在线转 问题是它会将空行也转成类似""（需要手动删）开启mongodb。mongoimport --username yourName --password yourPasswd --authenticationDatabase admin --db yourDb --collection your
2020-10-11 21:52:33
239
原创 windows家庭版安装docker
主要是两个问题：1.hyper-v缺失2.操作系统版本不支持（家庭版不支持）解决：https://www.jianshu.com/p/0d81c9359edf
2020-08-27 10:08:32
208
原创 p2p学习笔记
p2p技术概览P2P思想，共同参与、透明开放、平等分享。基于P2P技术的应用有很多，包括文件分享，即时通信，协同处理，流媒体通信等等。P2P本质是一种新的网络传播技术，这种新的传播技术打破了传统的C/S架构传统的通信方式，C/S结构：主服务器加上客户机，如一般网络上下载电影，http和ftp(文件传输协议)。==》难以解决单一服务器的带宽压力，随着客户端的增多，下载速度越来越慢。==》P...
2020-02-27 20:27:32
1130
原创 go -- Language Fundamentals
2020/02/23Main Concepts Data Type25个key words。变量命名以字母或下划线开头。但是不推荐_出现在中间。声明和赋值：ex：var name string = ‘darcy’ var name type–声明 firstName = ‘darcy’–赋值 firstName := ‘darcy’–声明and赋值(推荐)； ...
2020-02-27 11:47:59
487
原创 Docker在windows下的安装、使用（基础+中级）
2019/10/17本文涉及最新docker安装、使用、以及自己创建镜像、推送到阿里云上。环境：windows10安装进入docker官网，建议注册账户，类似github一样，也有个docker hub，管理各种镜像。下载完成打开运行exe，按照提示进行安装。检验：打开命令提示符cmd。docker version出现相应的版本提示docker run hello-world...
2019-10-17 20:08:37
581
原创 truffle编译器版本与合约不符问题
2019/10/09旨在解决使用truffle，编译时候编译器版本与合约规定相冲突的问题。环境：ubuntu18.04解决方法进入项目文件夹，打开truffle.js。将编译器版本修改（博主需要的是0.4.17，如下图：保存后，最好删除掉truffle-config.js文件。当然也有可能只有一个truffle-config.js文件，而没有需要的truffle.js，这时候我们把前者...
2019-10-09 17:14:12
1009
原创 安装、使用Truffle(ubuntu18.04)
2019/10/09Truffle是一个世界级的开发环境、测试框架，以太坊的资源管理通道，致力于让以太坊上的开发变得简单。简单来说，它让区块链测试变得简单。安装truffle官方文档在安装前，我们需要NodeJS v8.9.4或者更高版本。安装nodejsnpm install -g truffletruffle version#查看版本使用truffle init%初...
2019-10-09 17:02:38
1741
原创 git clone速度过慢解决方法
2019/10/09在git clone的时候会出现下载速度很慢，甚至卡住不动。这里有几个解决方法。设置clone深度git clone --depth=1 https://xxxx用浅拷贝来clone项目，不用clone项目的完整历史，而只需clone最近的一次提交，但是项目里面的文件都会完整地被下载下来。感谢https://www.jianshu.com/p/fe5612c1bd...
2019-10-09 09:33:52
1357
原创 ubuntu18.04安装Nodejs
2019/10/08Nodejs是运行在服务端的 JavaScript。创建私有链不可少（当然也可以用其他的）。这里的版本是10.16.3(最高的稳定版)。运行环境Ubuntu18.04。Nodejs的安装官方网站可以看到目前稳定版10.16.3。详见：https://golang.google.cn/doc/install。curl -sL https://deb.nodesourc...
2019-10-08 23:18:51
804
原创 以太坊客户端Geth的安装（ubuntu18.04）
2019/10/08因为我们使用Geth(1.9.3)的目的是搭建私有链，在这之前。我们需要安装好Nodejs、Go(1.12.10)。Nodejs详见：a；Go的安装下文有提及。安装方法基本均来自官方文档Go的安装进入官方网站，下载1.13.1和1.12.10都行。这里博主是go1.12.10.linux-amd64.tar.gz(其实开始是13，但是担心版本不兼容，又换成12)。这里...
2019-10-08 22:49:10
1434
原创 Geth搭建以太坊私有链并与Mist连接(Ubuntu 18.04)
2019/10/04在4种语言编写的以太坊客户端（Geth、Eth、Pyethapp、EthereumJ），go语言实现的Geth（ go-ethereum）是当前最被热捧，官方一直维护并推荐使用的客户端。这里简单介绍如何利用Geth搭建本地私有链，并与以太坊钱包Mist连接，可视化进行操作。运行环境为Ubuntu 18.04。安装geth【安装geth】（先挖个坑,因为已经忘了。。）。...
2019-10-04 22:45:01
1006
原创 remix链接本地.sol文件
2019/10/04写智能合约，remix是一个很好的IDE。但是由于存在于网页上，丢失风险很大。这里实现remix与本地文件相关联（访问本地文件夹）。这里博主是在windos平台下操作。其他详见remix官方文档安装remixdnpm install -g remixdremixd是npm的一个模块。它可以使web版的remix连接到本地文件夹。首先就要安装npm，这个的安装详见：【...
2019-10-04 21:00:13
1600
原创 本地用git上传项目到GitHub
2019/02/25上传到github的基础操作，以及遇到的小问题及解决方法。（以下以博主的一次上传为例）基础操作：进入到本地的要上传的文件目录下：cd /E/BUPT/Postgraduate/BIG data/bigdata/bigdata_phrase3在当前项目的目录中生成本地的git管理git init将项目上所有的文件添加到仓库中的意思，如果想添加某个...
2019-02-25 17:14:03
267
原创 Hadoop3.1.1——全分布式安装以及配置
2019/01/03利用实验室的服务器以及一台主机搭建hadoop雏形。步骤1.时间同步2.修改主机名。3.配置静态IP4.添加hadoop用户5.ssh免密登陆设置6.安装配置JDK7.安装Hadoop配置文件时间同步主节点和分节点之间，时间同步很重要。这里是通过控制时区来实现。用date -R查看当前系统时间运行tzselect依次选择Asia China...
2019-01-03 15:00:31
760
原创 文件重定向——日志文件生成
2018/11/27我们总会遇到这样的需求，想执行命令后把输出结果保存在一个文件里面，俗称日志文件。接下来有两种方法。个人倾向第一种，比较方便。>（输出重定向）在命令后加上>filepath，就是相当于本来要输出到界面上的内容存到filepath这个文件里面，且若文件不存在将会被创建。>：输出重定向到一个文件或设备，相当于删除该文件并重新建立该文件，再写入的效果...
2018-12-05 10:25:54
862
原创 `MySQL Daemon failed to start`
2018/11/16我们看下MySQL的配置文件vim /etc/my.cnf二不管，先看一。登陆错误文件在var/log/mysqld.logok，我们进去看看。错误在这儿，xxx文件夹不存在，（为啥他默认是这个？？？），那我们就修改为空：这个意思是导入导出数据就不需要在指定的文件夹里操作了，个人觉得对我们测试来说很方便，就这样改。...
2018-11-16 11:41:28
312
原创 MySQL8导入数据的报错`secure-file-priv``Permission denied``Incorrect integer value`
2018/11/14MySQL8默认已经安装好了，详情可见博主上篇博文博主的准备工作：用TPCDS工具包，生成好数据，创建好MySQL表。接下来就是导入0数据。如果直接导入，首先我们会遇到这样的一个报错secure-file-priv option so it cannot execute this statement...
2018-11-14 23:11:42
1253
原创 ubuntu16.04安装mysql8步骤
2018/11/14最近测试平台需要对mysql进行测试，但是tpcds里面生成的查询语句有的语法MySQL5.7不支持，我们只好换成MySQL8。博主先在本地ubuntu16.04进行了安装。先贴官方文档。因为是ubuntu，所以我们选择APT库,把他下载到本地。博主就是/home/darcy/Download/下面。解压：sudo dpkg -i /home/darcy/Dow...
2018-11-14 14:20:28
3078
原创 虚拟机(vmware)ubuntu16.04的扩容
2018/11/13版本：VMware® Workstation 14 Pro;ubuntu 16.04有两种扩容方法：1.创建一块新的虚拟硬盘；2.直接扩展根分区的大小这里呢，我们只考虑第二种。选取扩容大小，等待扩容完毕之后，我们进入虚拟机里面，在命令行进行分区、mount等操作。1.分区我们先用root登陆，毫无疑问后面不少操作都会涉及root权限。fdis...
2018-11-13 20:51:44
321
原创 大数据impala+hive/kudu性能测试
前一个月，一直在和师兄做实验室的一个项目，没有时间更新。现把第一阶段结果附上，希望能够帮到更多做类似事情的朋友。源码已经上传至[https://github.com/darcy-shimmer/bigdata_phrase1]里面readme包括详细解释。本次测试我们使用TPCDS标准进行。第一阶段我们主要测试hive&kudu导入数据速度以及impala+hive和impala+k...
2018-11-11 21:05:50
7056
2
原创 基础知识 -- GPT&MBR
2018/10/02在使用新磁盘之前，必须对其进行分区。MBR（Master Boot Record）和GPT（GUID Partition Table）是在磁盘上存储分区信息的两种不同方式。这些分区信息包含了分区从哪里开始的信息，这样操作系统才知道哪个扇区是属于哪个分区的，以及哪个分区是可以启动的。在磁盘上创建分区时，得在MBR和GPT之间做出选择MBR的意思是“主引导记录”，最早在19...
2018-10-02 21:40:08
362
原创 基础知识 -- 磁盘阵列
2018/10/02磁盘阵列的全称是：Redundan Array of Independent(Inexpensive) Disk，简称RAID技术。它是1988年由美国加州大学Berkeley分校的DavidPatterson教授等人提出来的磁盘冗余技术RAID的好处简单的说就是：安全性高，速度快，数据容量超大。磁盘阵列是由很多价格较便宜的磁盘，组合成一个容量巨大的磁盘组，利用个别磁盘...
2018-10-02 16:08:16
512
原创 联想RS550服务器安装Ubuntu16.04
近日实验室采购了一批（一个T_T）SR550服务器，着手进行安装工作2018/10/01Lenovo ThinkSystem SR5502u机架式服务器基本信息：参数内容型号Lenovo ThinkSystem SR550处理器支持2个Intel Xeon Scalable系列处理器，功耗支持到125W芯片组Intel C622内存16G D...
2018-10-01 23:22:35
13135
1
原创 tcp/ip相关协议
ARP：地址解析协议 IPV4专用协议,完成IP层与数据链路层地址之间转换。IP:ipv4;ipv6ICMP:控制消息协议。icmpv4;icmpv6Internet传输协议TCP/UDP TCP:传输控制协议（可靠）&am
2018-09-25 17:11:28
399
原创 用Python第一个爬虫程序（urllib.request)
这是博主第一个小爬虫程序，纪念一下2018/09/20之前在ubuntu里面已经实现，不过今天开始使用pycharm，折腾了一上午…终于打出来了。话不多说…目标：爬取博主一篇博文(Path of Python – 爬虫)里面的游览数。import reimport urllibfrom urllib import requestpat='<span class="rea...
2018-09-20 11:16:56
185
原创 Python -- 关于ssl的报错
ubuntu16.04；python3.72018/09/19sslimport urllib.requset运行里面urlopen报错：…#前面报了一大堆错记不住了。。。只有下面这句urllib.error.URLError: <urlopen error unknown url type: https>ok,接下来就是解决了。查询得知：python内置的ur...
2018-09-19 10:22:54
616
2
原创 Python -- 基础爬虫
关于爬虫（入门）2018/09/18正则表达式（一种进行数据筛选的表达式）原子（正则表达式最基本组成单位）普通字符字符串、非打印字符\n、通用字符、原子表。导入正则表达式：import reeg:result=re.search(‘yue’,‘http://www.baidu.com’)通用字符（通配符，可以匹配一系列东西）：\w:匹配任意一个字母数字下划线\d:匹配任意一...
2018-09-18 20:16:51
256
原创 Python -- 包的安装方式
博主在使用python时候经常出现有的工具包安装时候失去连接而安装失败之类，在此总结了以下方式2018/09/18一.用vpn。这个不多说二.用本地whl文件安装。先进入https://www.lfd.uci.edu/~gohlke/pythonlibs/网站找到你先要的安装包，点击下载。进入下载到文件夹，用pip install [名字].whl下载即可...
2018-09-18 15:30:45
161
原创 python在bash交互模式里面关于readline的报错
在ubuntu16.04里面安装python3.7，使用过程中出现了一些小问题，在此作记录。2018/09/09 readline 在bash交互模式中方向键盘左右移动，光标并不会移动，反而输出^D等。查阅资料是由于确少readline相关模块之故。 尝试用可以尝试使用 Python 自带的 readline 模块。 vim Modules/Setup #找到这...
2018-09-09 22:46:19
753
原创 Python3.5 基础知识点
Notebook2018/09/09Python交互模式的代码是输入一行，执行一行，而命令行模式下直接运行.py文件是一次性执行该文件内的所有代码。可见，Python交互模式主要是为了调试Python代码用的，也便于初学者学习，它不是正式运行Python代码的环境！ 命令行里面直接输入python进入交互模式。用Python开发程序，完全可以一边在文本编辑器里写代码，一边开一...
2018-09-09 22:22:51
341
原创 ubuntu16.04安装python3.7
2018/09/08下载安装包 sudo apt-get axel #安装axel，以从网站直接下载压缩包 axel https://www.python.org/ftp/python/3.7.0/Python-3.7.0.tar.xz tar -xvf Python-3.7.0.tar.xz #解压一些辅助软件更新安装博主直接安装时候会出...
2018-09-08 22:14:46
1300
1
原创 VM14pro ubuntu16.04一些安装问题
Ubuntu安装的一些问题本博文主要就博主自己在VM14pro环境下安装ubuntu16.04遇到的问题做些小结。有些只有解决方法，暂时未深入理解其中原理，好用就完事了？安装后的黑屏问题界面一直都是黑的，没有任何图形出现，但当挂起之后缩略图上面还是有所显示。 两个方法解决：用CMD 用户管理员身份打开cmd,输入 netsh winsock reset...
2018-09-04 21:23:26
570
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人