Learning by doing

今天碰见一个类型转换的问题，用了一个迂回手段解决了，有些trick，不知道有没有更好的办法，欢迎交流。问题描述：（go语言环境）结构体数组 TestStruct//初始化，赋值testArr := []*Test{ &Test{ ID: "123456", Name: "abcdef", },}//结构体使用的方法参数值func Hello(collectr []*Test) error {}...

SQL语句检测可以用EXPLAIN或者DESC查看sql是否使用到索引1、然后给时间字段创建索引

运行protobuf程序碰见一个小错误，记录一下：error while loading shared libraries: libprotobuf.so.8: cannot open shared object file: No such file找不到对应的库文件，一般是路径问题。安装路径没有加入到配置中所以报错。通过find查找，找到 libprotobuf.so.8 文件，如...

Mysql比较常用，最近刚好用到，顺手整体些速记，以备后观。对于这些基础知识，需要熟记于心，故而需要化繁为简，化简为图。每一个常量，变量和参数都有数据类型，它用来指定一定的存储格式、约束和有效范围。MySQL 提供了多种数据类型，主要包括3种类型：数值型、字符串类型、日期和时间类型。不同的 MySQL版本支持的数据类型可能会稍有不同。目前大多数版本都是5.x.x以上了。0、总览...

数据导入导出还是比较常见的，一、常规数据导入导出一般如果数据不大，直接操作 *.sql 文件即可。1、数据导出## 导出整个数据库结构和数据# mysqldump -h localhost -P 3306 -uroot -p123456 database > test.sql## 导出单个数据表结构和数据# mysqldump -h localhost -P 330...

0、背景有一些知识很简单，很低频，但是偶尔还是需要使用，故而需要记下来。开始的时候碰见mysql.sock文件找不到了，不知道什么时候被破坏了，修复了好久，问题一个接着一个，需要急着用，很浪费时间，所以直接选择重装。简单暴力有效。1、安装yum安装mysql# 下载mysql源wget http://dev.mysql.com/get/mysql57-communit...

问题描述启动正常：# zkServer.sh startJMX enabled by defaultUsing config: /usr/local/zk/bin/../conf/zoo.cfgStarting zookeeper … STARTED查看状态却报错：# zkServer.sh statusJMX enabled by defaultUsing config: /

By default, a notebook server runs locally at 127.0.0.1:8888 and is accessible only from localhost. You may access the notebook server from the browser using http://127.0.0.1:8888.Othe

Win8 下安装配置 Node.js 环境

Windows DOS下的换行用^M$表示，而Linux下用$表示，这就给我们带来了一点麻烦，所以我们需要去掉^M标志，解决方案：tr -d "\015" newfilename或者cat oldfilename | tr -d "\r" > newfilename

（一）安装pyenv$ git clone git://github.com/yyuu/pyenv.git ~/.pyenv$ echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bashrc$ echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bashrc$ echo 'eval "$(pyenv

jupyter notebook非常方便，想在服务器上面搭建一个，但是访问不了。（一）首先是安装jupyter notebook，pip install jupyter如果pip安装报错，缺少sqlite的库，那么请安装sudo apt-get install libsqlite3-dev然后需要“重新编译python”，再通过pip安装（python3.x则不需要安装pysqlite）pip i...

首先要想一下，需要什么日志？安装日志？显卡本身运行日志？还是运行性能数据日志？显卡目前来看主要两个用途：图形显示（如Xorg，显示器） 和 计算（如矩阵运算，深度学习）。当然，本质都是计算。（一）安装日志其实这个不用操心，在安装完驱动之后的页面最下面就有显示，对应着路径去找就好啦。如果，很久之后还想看，可以去这里找/var/log/nvidia-installer.log/var/log/nvi

需要整理一篇大数据框架的文章，所以本文复习下Hadoop。Hadoop是大数据惊世之作，必学的东西，需要知道：它由哪些部分组成？各自的作用是什么？如果工作的？……Hadoop1.x设计还是有些欠缺的，故而Hadoop2.x加以了完善，老规矩，上图：Hadoop1.x：Hadoop2.x：需要xmind图的可以在这里下载：h

intellij IDEA有很多[INFO]信息有时候很烦，看不到想要的输出，一般情况下，只显示ERROR信息就可以了。1，在源码src下面新建文件夹resources，2，右击resources文件夹Mark Directory as 选中Resources Root3，将spark源码conf目录下的log4j.properties文件复制到 src/resources文件夹下（如果有同学不想...

之前搞了个虚拟机，用了很久，今天突然发现磁盘空间不足了，很是头疼，总不能重新弄个，里面很多环境配置不容易啊。于是就想到了扩展磁盘空间。分享本文，希望能帮助大家不走弯路。1、先关闭虚拟机电源2、做如下设置：“虚拟机”--“虚拟机设置”--“磁盘”--“扩展”3、输入你期望的大小（必须要大于现有大小）4、保存设置5、启动虚拟机6、安装gparted工具（Linu...

Ubuntu16.04安装bazelsudo apt-get install openjdk-8-jdkecho "deb [arch=amd64] http://storage.googleapis.com/bazel-apt stable jdk1.8" | sudo tee /etc/apt/sources.list.d/bazel.list curl https://bazel.

（1）现象：#jps看不到DataNode（2）可能原因：datanode的clusterID 和 namenode的clusterID 不匹配。（3）解决办法：找到data和name配置的dir路径，找到hdfs-site.xml文件（cd hadoop-2.6.5/etc/hadoop/）dfs.name.di

近日有需要在Cygwin下生成patch，然后再在Cygwin下应用这个patch，遇见了比较烦人的问题如下：1. ^M问题，即DOS下的回车和Linux下的回车符不一致。2. svn diff > 123.patch 生成patch时，无法显示Binary file，报错“Cannot display: file marked as a binary type.”。解决方案如

简单来说如果是系统自带的python，会使用dist-packages目录；如果你手动安装python，它会直接使用目录site-packages。这允许你让两个安装隔离开来。dist-packages：系统自带的pythonsite-packages：自己安装的pythonpython的包的安装路径如下1、系统自带python系统自带软件管理器安装

我是社会主义的一块砖，哪里需要哪里搬！本周援助一下前端的同学开发：（0）背景知识：先介绍下npm和nodejs，太基础直接复制了:nodejs简单的说 Node.js 就是运行在服务端的 JavaScript。Node.js 是一个基于Chrome JavaScript 运行时建立的一个平台。Node.js是一个事件驱动I/O服务端JavaScript环境，基于Google

执行如下命令：sudo wget http://www.linuxidc.com/files/repo/google-chrome.list -P /etc/apt/sources.list.d/wget -q -O - https://dl.google.com/linux/linux_signing_key.pub | sudo apt-key add -sudo apt-get u

搞分布式大数据，还是需要牢固的网络基础的，今天复习下ping和telnet，因为这两个最基础，telnet和ping结合很好查看监控服务器状态的，很多工具就是依靠这些基本命令来实现监控的 。（一）使用ping 可以测试到目标机器的连通性。Ping域名还可以得出解析IP。评估网络质量。1、ping只互相传输协议数据，不传送用户数据2、ping是第一步，如果ping不通，十有八九是

kubectl是一个用于操作kubernetes集群的命令行接口,通过利用kubectl的各种命令可以实现各种功能,是在使用kubernetes中非常常用的工具。（一）pod对Pod的创建可以通过Yaml或Json格式的配置文件来完成。关于Yaml或Json中都能写哪些参数，参考官网http://kubernetes.io/docs/user-guide/pods/multi-co

（一）定义首先，什么是kubernetes?Kubernetes(简称k8s)，官网地址：https://kubernetes.io/是自动化容器操作的开源平台，这些操作包括部署，调度和节点集群间扩展。Kubernetes is an open-source system for automating deployment, scaling, and management of

12月13日hadoop-3.0.0发布正式版啦，试试最新的Release Notes：Minimum required Java version increased from Java 7 to Java 8Support for erasure coding in HDFS……Support for more than 2 NameNodes.Default port

docker machine 管理目标主机做为Docker容器集群管理三剑客之一的Docker Machine 大大简化了Docker主机部署的复杂度,极大的方便了开发者管理分布式Docker主机。插播一段，Docker管理三剑客【本段摘自知乎@ShevYan，有部分删减】（1）Machine是在虚拟机上运行docker，通过machine可以快速在虚拟机里面部署d

问题：pip安装pydoop的时候报错：This will solve error pydoop.LocalModeNotSupported: ERROR: Hadoop is configured to run in local mode解决：编辑hadoop的配置文件：mapred-site.xml mapreduce.frame

问题：hadoop集群正在运行，怎么动态加一个新的节点呢？解决：1、修改 master节点上的hadoop配置文件 /home/cc/hadoop-2.8.2/etc/hadoop/slaves 文件，添加新增的节点 slave32、在新增的 slave3 节点执行命令 /home/cc/hadoop-2.8.2/sbin/hadoop-daemon.sh star

问题：Linux宿主机的IP：10.10.1.12 （可以访问公网）Docker的IP：172.17.1.2 （运行在Linux宿主机上10.10.1.12 ）其他可以访问公网的机器（如Windows）一、在宿主机上安装Squid#安装squidsudo apt-get install squid#修改配置项sudo vim /etc/squid/squid.c

错误信息如下~$ sudo apt-get purge docker-engineReading package lists... DoneBuilding dependency treeReading state information... DoneYou might want to run 'apt-get -f install' to correct these:The fo

（一）错误信息：You appear to be running an X server; please exit X before...原来，更新驱动需要关闭图形桌面。赶紧查看一下，是不是真的有Xps aux | grep X看到$ ps aux | grep Xroot 2242 1.6 0.0 154212 35820 tty7 Ss+

最近需要下载ImageNet数据，140G，所以找到这个工具：（有多线程，断点续传功能）（1）安装sudo apt-get install axel （2）下载axel -n 10 -av http://www.image-net.org/challenges/LSVRC/2012/nnoupb/ILSVRC2012_img_train.tar

一、新建Git Tree#mkdir ccmedia#cd ccmedia/#git init .#vim xx.c#git add xx.c#git commit --author="name "#git push#git config --bool core.bare true二、下载#git clone tinderbox:/git/ccmed