- 博客(19)
- 收藏
- 关注
原创 pyspark开发环境搭建
包依赖问题解决方法一:使用findspark库自动识别spark依赖包1. 安装findsparkpip install findspark2. 使用findspark初始化pyspark的依赖import findsparkfindspark.init()3. 导入依赖的pyspark模块 from pyspark import SparkContextfrom pyspark import
2017-06-03 12:39:47 14471
原创 常用git命令
版本控制修改添加至stage:bash git add <name> `stage进版本:git commit -m "[ your message here ]"差异对比:git diff HEAD -- <name> `回退本地文件:git checkout -- <name> 若有stage撤销至stage,没有则撤销至HEAD撤销stage:git reset HEAD <name>删
2017-06-03 12:23:43 405
原创 无法连接外网时如何安装Python Package
生产环境的服务器(以下简称内网服务器)由于安全限制,可能无法连接外网。这种情况下将无法直接使用pip命令安装python的包,下面介绍2种解决方法:(a) 通过代理服务器连接外网安装内网服务器一般是通过跳板机连接的,若你的跳板机可以正常访问外网,则可以考虑在跳板机上架设代理服务器,然后目标服务器通过跳板机的代理访问外网。$ export https_proxy=http://proxy.mydoma
2016-10-10 10:23:26 12047 1
原创 Linux配置免密码登录(原理 + 实践)
一、免密登录的原理Linux免密登录,本质上是使用了”公钥登录”。原理很简单,就是用户将自己的 公钥 储存在远程主机上。登录的时候,远程主机会向用户发送一段 随机字符串,用户用自己的 私钥 加密后,再发回来。远程主机用事先储存的公钥进行解密,如果成功,就证明用户是可信的,直接允许登录shell,不再要求密码。二、流程示意建立互信Created with Raphaël 2.1.0客户端A客户端A
2016-09-22 10:12:45 3675
原创 docker 安装mysql
Step 1 下载镜像并初始化下载镜像docker pull mysql下载官方的mysql docker镜像初始化mysqldocker run -v /data/var/mysql/:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=XXXXXX mysql为mysql镜像设置初始密码,-v 命令使用数据卷(Data volume)指定本地的文件目录:/data/var
2016-09-03 10:02:02 1758
原创 使用docker快速搭建运行环境
最近在搭建虚拟机上的运行环境,最开始是按照传统方法一个一个安装软件,一大堆软件装下确实是挺费时间的。现在容器技术非常的火,于是就去看了一下docker,完全能够满足我的需求,省时省力, 何乐而不为?什么是docker?简单的说,Docker是一个基于进程容器(Processcontainer)的轻量级VM解决方案。大概的示意图如下(左边是传统VM,右边是docker): 传统的虚拟机是虚拟出硬
2016-09-02 07:13:02 12135 1
转载 推荐引擎相关算法 - 协同过滤 及 Mahout的应用
为了加深对协同过滤的理解,差异了一些资料,这篇文章讲的还不错,加上一些个人理解的注释,分享如下本文内容主要来自:http://www.ibm.com/developerworks/cn/web/1103_zhaoct_recommstudy2/index.html什么是协同过滤协同过滤是利用集体智慧的一个典型方法。要理解什么是协同过滤 (Collaborativ
2016-08-24 16:57:24 1278
转载 SVD在推荐系统中的应用
mahout中有SVD的推荐策略,今天查了一下资料了解了一下算法原理,本质上是使用SVD方法做特征降维,然后再计算相似度。下面这篇文章写的不错,和大家分享一下。转自:http://yanyiwu.com/work/2012/09/10/SVD-application-in-recsys.html线性代数相关知识:任意一个M*N的矩阵A(M行*N列,M>N),可以
2016-08-24 09:56:37 7186
转载 python 在不同层级目录import 模块的方法
转自:http://www.361way.com/python-import-dif-dir-module/4064.html一、同级目录下的调有程序结构如下:-- src |-- mod1.py |-- test1.py若在程序test1.py中导入模块mod1, 则直接使用:import mod1或from mod1 import *;二、调用子目录下的模块程序结构如下:-- s
2016-08-23 14:01:02 664
原创 Java实现快速排序(泛型)
Java实现快速排序(泛型)算法的原理详见:《坐在马桶上看算法:快速排序》 http://developer.51cto.com/art/201403/430986.htmpackage sort;import java.util.Arrays;/** * 快速排序的Java实现 * * @Author: lujin * @Created Date: 2016/8/23 9:23 * @
2016-08-23 11:02:50 742
转载 ubuntu上部署tomcat7的注意事项
原文:http://blog.chinaunix.net/uid-12023855-id-5288789.html安装命令:sudo apt-get install tomcat7注意:1)tomcat的安装目录在/usr/share/tomcat7启动、停止命令、日志都在这个目录。但是web app,配置文件在/var/lib/tomcat7 2
2016-08-22 22:09:57 704
转载 中文分词词性对照表
原文:http://blog.csdn.net/kevin_darkelf/article/details/39520881最近在用jieba分词做中文标签的提取,对于标注的词性缩写比较困惑,查了一下资料,记录如下:汉语词性对照表[北大标准/中科院标准] 词性名称注 解Ag形语素形容词性
2016-08-22 14:04:49 6202
原创 Ubuntu快速安装jdk 1.8
Ubuntu快速安装jdk 1.8apt-get是ubuntu上非常好用的软件安装工具,默认情况下安装的是openJDK。事实上,通过手动添加外部源,也可以完成jdk的安装。首先添加外部仓库:$ sudo add-apt-repository ppa:webupd8team/java$ sudo apt-get update$ sudo apt-get install oracle-java
2016-08-20 19:19:06 1112
原创 Python中文处理:str与unicode
使用python2.x做中文的文本挖掘,遇到了几个坑,现总结如下:1. 默认的defaultcoding:asciiUnicodeDecodeError: ‘ascii’ codec can’t decode byte ……如果遇到了上述错误,就应该好好检查一下python文件的编码格式了python默认使用defaultencoding=ascii,若你没注意这一点直接以
2016-08-19 15:17:09 2197
原创 Spring-Cache key设置注意事项
对Spring-cache @Cacheable方式的key的一些注意事项进行介绍,尤其是多关键字组合和方法名识别的问题
2016-08-18 12:53:36 51117 11
转载 使用 Maven Profile 和 Filtering 打各种环境的包
转自:https://segmentfault.com/a/1190000003908040每个项目都会有多套运行环境(开发,测试,正式等等),不同的环境配置也不尽相同(如jdbc.url),借助Jenkins和自动部署提供的便利,我们可以把不同环境的配置文件单独抽离出来,打完包后用对应环境的配置文件替换打包后的文件,其实maven已经给我们提供了替换方案:profile
2016-08-18 09:01:36 5825 2
原创 调度对比:Crontab vs Quartz
1、执行粒度不通:Crontab是进程调度,Quartz是线程调度2、Crontab依赖于Unix系列平台,Quartz是Java实现因此是跨平台的
2016-08-15 10:00:47 3476
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人