- 博客(63)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Leetcode 90. Subsets II题解
和 http://blog.csdn.net/make_app/article/details/54708838 subset问题类似，这道题多了个限制，nums中的元素可以重复。 通过跑dfs发现，当他两个相邻重复的时候，并且是另外一个分支的时候，会出现重复的情况。 加上判断条件即可解决重复的问题： if(i>start && nums[i]==nums[i-1]) continue;另一种
2017-01-26 17:05:57
509
原创 Leetcode 78. Subsets题解
题目描述： Given a set of distinct integers, nums, return all possible subsets. Note: The solution set must not contain duplicate subsets. For example, If nums = [1,2,3], a solution is: [ [3],
2017-01-24 16:43:42
793
转载 apt和源码编译的一些理解
ubuntu中apt-get 和直接编译源码的区别以下内容均为转载： linux运维的软件安装中，网上的文章，80%以上都是源码安装，无论是安装lamp，lnmp还是puppet，而且都是脚本的方式安装 源码编译安装的主要目的是『抹平』不同系统默认软件包中软件编译参数的不同。 源码编译可能带来的问题： 第一个问题，是因为源码编译，机器得有gcc,c++,make等一系列软件包依赖关系
2016-06-01 18:20:46
2145
原创 安装screenfetch
ubuntu apt中不包含这个库git clone https://github.com/KittyKatt/screenFetch.git chmod +x screenfetchcp 到 /usr/local/bin即可直接在terminal中输入screenfetch macbrew install screenfetch
2016-05-30 11:01:56
3577
原创 alfred
alfred+powerpack： 重新思考什么是workflow 减少很多不必要的操作，减少那些大量进行的重复的操作（这里的大量进行指的是多次中的某些步骤，而不是一次中的大量重复）比如豆瓣搜索影评，按下option space 输入db moviename，即可搜索该电影的影评
2016-05-07 23:42:14
559
原创 mac terminal快捷键
也可用于iterm 整理如下： 常用的快捷键： Ctrl + h 退格删除一个字符，相当于通常的Backspace键 Ctrl + u 删除光标之前到行首的字符 Ctrl + k 删除光标之前到行尾的字符 Ctrl + c 取消当前行输入的命令，相当于Ctrl + Break Ctrl + a 光标移动到行首（Ahe
2016-05-07 23:37:00
727
原创 第一个OPENMP程序
环境：mac OSX gcc 版本： 4.9gcc -v ：gcc version 4.9.2 20141029 (prerelease) (GCC) 如果gcc版本是4.2，直接编译含omp.h的文件时，会报错（No such file or directory）安装4.9的具体步骤如下：http://stackoverflow.com/questions/20340117/omp-h-lib
2016-05-02 10:50:52
1362
转载 Spark快速入门指南
转载地址： http://blog.csdn.net/macyang/article/details/7100523Spark是什么？Spark is a MapReduce-like cluster computing framework designed to support low-latency iterative jobs and interactive use from an
2016-04-12 14:00:17
541
原创 bash 之 last
排版模式：可编辑模式：输入last后 会读取/var/log/wtmp 这个文件是二进制文件，它不能被文本编辑器浏览，比如vi、Joe或者其他软件 terminal中第二列的信息 pts/0 (伪终端) 意味着从诸如SSH或telnet的远程连接的用户 tty (teletypewriter) 意味着直接连接到计算机或者本地连接的用户 除了重启活动
2016-04-12 11:04:58
533
转载 bash之 history
history的功能真是丰富： 有如下这些：ctrl + r 搜索历史命令 输入关键词即可 再按ctrl r表示下一个 如果确定，就按enter 如果需要修改，就按左右键查看命令的执行时间 export HISTTIMEFORMAT=’%F %T ’ 或者加入到bashrc中 再输入history时候，就会出现 1272 2016-04-11 12:39:2
2016-04-11 13:50:01
505
原创 安装gitk
作用：图形化查看git的日志 比如 git commit内容哪些修改的文件文件具体修改了什么安装过程：sudo apt-get install gitk然后terminal中输入gitk即可，如果当前文件夹下有 .git，则图形化显示日志内容
2016-03-31 19:35:05
1539
原创 mac配置autojump
排版模式：可编辑模式：为什么要配置autojump：常用的功能有：j directoryname智能补全目录浏览和跳转：输入 d，即可列出你在这个会话里访问的目录列表，输入列表前的序号，即可直接跳转。j –stat看 历史路径库tab 补全ssh +空格+tab的补全..无需cd ..如何安装autojumpbrew install autojump在 .zshrc 中找到 plu
2016-03-28 12:22:01
5043
原创 CA dis4 notes
3.15notes重点：syscall的原理讲解了syscall的 具体实现 科普一些中断的知识 当中断发生的时候，有三个register会参与，分别是 Status Register，Cause Register，Exception PC (EPC) Register。 因为 程序需要记录，当前指令的地址（一边跳转回去
2016-03-16 20:11:04
412
原创 Mips learn
aim:记录mips学到的—————————————————————————————————————————————————————————–pcprogram counterlo hiThese are special registers used to store result of multiplication and division. They are not directly add
2016-03-10 10:21:06
493
原创 Tips for lab2
Tips for lab2安装mips交叉编译器从 lab2给出的内网链接下载mips-2015.11-32-mips-linux-gnu.bin 或者自己从https://sourcery.mentor.com/GNUToolchain/release3133下载$ chmod 777 mips-2015.11-32-mips-linux-gnu.bin$ ./mips-2015.11
2016-03-10 10:03:43
784
原创 spark-submit到yarn上遇到的各种坑
spark-submit到yarn上遇到的各种坑1、对于sbt package稍微搬动了code的位置，又要重新下载lib，所以不要移动代码位置。后面没有搬动code，就没重新下载库了，而且每次package速度很快，1秒左右2、175MB大小的文件上传到hdfs一直卡住，思考原因：权限问题？路径问题？磁盘容量问题？后来就上传一个3KB的文件，边上传边googl
2016-01-28 22:26:38
4818
原创 spark处理大数据的几个实例介绍
在集群中跑应用，而不是在shell中感受写spark应用的过程整个过程为：1、案例分析：要用哪些spark的RDD的API2、编程实现: 用到scala，3、提交到集群执行：如何提交到集群，文件是否先传到HDFS上4、监控执行结果： 通过web可以看到介绍了四个案例：比如 统计1千万个人的平均身高，如果用其他语言，估计要好几小时，因为磁盘读写，要反复计算用了sp
2016-01-27 20:32:39
7704
原创 spark-shell的wordcount的例子存档
启动spark-shell后完成的第一示例完成Spark安装并启动后，就可以用Spark API执行数据分析查询了。首先让我们用Spark API运行流行的Word Count示例。如果还没有运行Spark Scala Shell，首先打开一个Scala Shell窗口。这个示例的相关命令如下所示：val txtFile = "README.md"val txtData = s
2016-01-27 20:25:53
2095
原创 spark load file的几种方式
spark load file的几种方式：1、直接导入localfile，而不是HDFSsc.textFile("file:///path to the file/")如sc.textFile("file:///home/spark/Desktop/README.md")注意：当设置了HADOOP_CONF_DIR的时候，即配置了集群环境的时候，如果直接sc.textFile(
2016-01-27 20:24:02
2779
原创 在使用sudo命令时如何不用输入密码或减少输入的次数？
在使用sudo命令时如何不用输入密码或减少输入的次数？方法1、sudo ./script.sh但要输入第一次的密码方法2、echo password|sudo -S apt-get update-S的意思是，讲密码从standard input中读入特别适合用于脚本。比如服务器的定期更新，当然你也可以直接用sudo用户，不过不安全方法3、In new /etc/
2016-01-27 20:15:07
885
原创 给台式机补内存条
今天去给实验室的电脑补了几根内存条，结果有一根内存条插到主板上后，主板始终在滴找到这个链接：http://www.pc841.com/article/20100615-178.html看来一定是内存条冲突的原因了，但现在还有主板不兼容的内存条吗？机子是2010年的
2016-01-27 20:11:20
751
原创 编写第一个用scala写的spark任务，用sbt打包成jar，并单机模式下运行
一、编写第一个用scala写的spark应用：仿照spark的 quick-start的Self-Contained Applications写出第一个scala完整程序链接如下：http://spark.apache.org/docs/latest/quick-start.html即：/* SimpleApp.scala */import org.apache.spar
2016-01-27 19:54:56
6115
原创 安装sbt并用sbt编译第一个应用
安装sbt：安装地址：http://www.scala-sbt.org/download.html直接下载zip包即可我的版本0.13.9等待了10分钟才开始下载一共耗时20分钟具体安装方法：见这个链接http://www.cnblogs.com/wrencai/p/3867898.html然后sbt sbt-version来测试是否安装成功注意，要注意scal
2016-01-27 19:41:04
2115
原创 spark-shell的环境测试
测试spark-shell前提，hdfs有format过（一次就好，format多次了会出现找不到slave的datanode的现象），而且开启了hadoop和spark然后进入spark文件夹，直接bin/spark-shell成功信息，没有error，最后一行是sql context available as sqlcontext测试work count（代码）可以写一个备
2016-01-27 19:32:53
971
原创 spark的slave上没有datanode 的解决办法
问题描述：通过jps命令 发现 两个slave上都没有datanode，而master上正常找到namenode和datanode各自的VERSION，发现master下的更新日期为1月27，slave下为12月25分别查看master和slave日志发现果然有warn解决办法：1、停止服务，停止spark的和hadoop的，有stop-all.sh2、找到哪台的s
2016-01-27 19:30:02
5609
原创 ubuntu terminal 配色问题
这两天在看spark的日志，实在受不了terminal的配色，顾找到这个帖子http://www.cnblogs.com/ayseeing/p/3620540.html解决办法是：修改~/.bashrc在最后一行加上PS1='${debian_chroot:+($debian_chroot)}\[\033[01;35;40m\]\u\[\033[00;00;40
2016-01-27 19:22:10
554
原创 对hosts文件的理解
hosts文件的一些知识1、如何修改hosts并让它生效位置：/etc/hostshosts的作用：类似于dns服务器，提供IP地址到hostname的对应。但现在网站那么多了，所以一个人电脑的hosts文件存不了那么多hostname，于是出现了dns服务器，于是也就有了dns污染。（直接干掉dns服务器即可：掐断和dns服务器的连接或者返回错误的ip地址）linux根据
2016-01-26 12:19:00
618
原创 对spark中RDD的理解
update at 2016.1.25RDD作者的论文链接https://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf论文的理解：spark要解决的问题：1、有些数据要多次读写，磁盘速度很慢2、没有交互的界面，不能看到中间结果适用的应用：1、机器学习：多个迭代次运算，逼近（优化问题）。==》是不是
2016-01-26 11:35:18
634
原创 spark使用过程中的问题
我的环境：scala2.10.6Hadoop 2.6.2jdk-8u66-linux-x64spark1.5.2一台master，两台slave 问题1、scala> val textFile =sc.textFile("README.md")报错信息为： error: not found: value scsc为spark cont
2016-01-26 11:10:37
867
原创 linux环境变量的设置
参考链接：http://www.powerxing.com/linux-environment-variable/全局的环境变量存放的文件有：etc/profile，用户登陆一次，执行一次etc/bashrc,每打开一次shell，执行一次/etc/environment - This file is specifically meant for system-
2016-01-26 11:03:28
714
原创 对spark中RDD的API的理解
链接：https://www.zybuluo.com/jewes/note/35032对RDD,和RDD中map，reduce等API的理解我的理解如下：RDD:Resilient Distributed Datasets（弹性分布式数据集）把所有数据抽象成RDD，可以看做是一个不连续的数组，这样子就可以分区存了。如scala> val a = sc.paral
2016-01-26 10:52:31
388
原创 spark on yarn 的安装
spark有两种集群模式分别是spark on yarn和standalonespark on yarn：运行在 yarn（Yet Another Resource Negotiator） 资源管理器框架之上，由 yarn 负责资源管理，Spark 负责任务调度和计算。standalone：类似于单机模式我的配置环境：软件环境：Ubuntu
2016-01-26 09:38:56
634
原创 算法导论第一章，第二章笔记
第一章，第二章算法导论读书笔记1、算法是什么2、要知道几种数据结构的优势和局限比如排序算法NP问题是什么循环不变性，算法正确性的证明布尔运算符 会短路的 传值，传参的不同复杂度分析输入规模最坏情况和 平均情况数据结构听课笔记1、makefile来编译c++程序make是如何高效编译程序的：通过检测
2015-09-21 16:49:21
488
原创 树莓派实战4：配置一小时发送一次邮件
接上5、配置crontab ，这是Linux 自带的定时执行任务 。输入crontab -e 开始配置打开后你会看到很多#在最后一行输入*/60 * * * * sh /home/pi/Desktop/check.sh保存，退出，此时会显示 installing new crontab/60的意思是间隔60分钟，也可以/1,就是间隔1分钟在
2015-08-05 22:52:10
5340
1
原创 树莓派实战3：配置开机自启动
接上4、配置开机自启动，修改rc.local 或者配置init.d ，这里修改rc.localsudo nano /etc/rc.local如果你的mail.py在Desktop则在exit 0上面一行添加cd /home/pi/Desktop然后python mail.py然后保存 退出此时sudo reboot,等树莓派重新启动好了，你也会收到一
2015-08-05 22:35:55
5224
3
原创 树莓派实战2：发送ip地址到自己邮箱
接上：2、发送邮件的程序：网上有很多做法，通过web.py自带的库来发送邮件最为方便先配置python +web.pyshell中输入 python 如果显示 Python 2.7.3，说明打开python2成功（如果要退出，ctrl+z）继续输入import web 如果ImportError: No module named xxx,则未安装web.py
2015-08-05 22:33:26
3508
原创 ubuntu下opencv的配置
安装OPENCV过程参考网页：http://blog.csdn.net/a1429331875/article/details/31539129http://docs.opencv.org/doc/tutorials/introduction/linux_install/linux_install.htmlhttp://tutewall.com/package-mysql-serv
2015-07-27 21:41:44
658
转载 python2 unicode str
这个问题到python3里面就没了，python3 似乎将这个无形中解决了。 错误信息:utf8 codec can't decode byte 0xb5 in position有汉字抓取网页的时候，网页可能有两种编码（utf-8 + GBK23）编码有中文 也有英文html的编码是ANSI的，另存为UTF-8即可。错误信息UnicodeDec
2015-07-18 20:22:30
517
文件的复制速度取决于什么
2014-10-20
TA创建的收藏夹 TA关注的收藏夹
TA关注的人