- 博客(19)
- 收藏
- 关注
RSS订阅原创 pyspark开发环境搭建
包依赖问题解决方法一：使用findspark库自动识别spark依赖包1. 安装findsparkpip install findspark2. 使用findspark初始化pyspark的依赖import findsparkfindspark.init()3. 导入依赖的pyspark模块 from pyspark import SparkContextfrom pyspark import
2017-06-03 12:39:47
14388
原创 常用git命令
版本控制修改添加至stage：bash git add <name> `stage进版本：git commit -m "[ your message here ]"差异对比：git diff HEAD -- <name> `回退本地文件：git checkout -- <name> 若有stage撤销至stage，没有则撤销至HEAD撤销stage：git reset HEAD <name>删
2017-06-03 12:23:43
398
原创 无法连接外网时如何安装Python Package
生产环境的服务器（以下简称内网服务器）由于安全限制，可能无法连接外网。这种情况下将无法直接使用pip命令安装python的包，下面介绍2种解决方法：(a) 通过代理服务器连接外网安装内网服务器一般是通过跳板机连接的，若你的跳板机可以正常访问外网，则可以考虑在跳板机上架设代理服务器，然后目标服务器通过跳板机的代理访问外网。$ export https_proxy=http://proxy.mydoma
2016-10-10 10:23:26
11976
1
原创 Linux配置免密码登录（原理 + 实践）
一、免密登录的原理Linux免密登录，本质上是使用了”公钥登录”。原理很简单，就是用户将自己的 公钥 储存在远程主机上。登录的时候，远程主机会向用户发送一段 随机字符串，用户用自己的 私钥 加密后，再发回来。远程主机用事先储存的公钥进行解密，如果成功，就证明用户是可信的，直接允许登录shell，不再要求密码。二、流程示意建立互信Created with Raphaël 2.1.0客户端A客户端A
2016-09-22 10:12:45
3662
原创 docker 安装mysql
Step 1 下载镜像并初始化下载镜像docker pull mysql下载官方的mysql docker镜像初始化mysqldocker run -v /data/var/mysql/:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=XXXXXX mysql为mysql镜像设置初始密码，-v 命令使用数据卷（Data volume）指定本地的文件目录：/data/var
2016-09-03 10:02:02
1747
原创 使用docker快速搭建运行环境
最近在搭建虚拟机上的运行环境，最开始是按照传统方法一个一个安装软件，一大堆软件装下确实是挺费时间的。现在容器技术非常的火，于是就去看了一下docker，完全能够满足我的需求，省时省力， 何乐而不为？什么是docker？简单的说，Docker是一个基于进程容器(Processcontainer)的轻量级VM解决方案。大概的示意图如下（左边是传统VM，右边是docker）： 传统的虚拟机是虚拟出硬
2016-09-02 07:13:02
12101
1
转载 推荐引擎相关算法 - 协同过滤 及 Mahout的应用
为了加深对协同过滤的理解，差异了一些资料，这篇文章讲的还不错，加上一些个人理解的注释，分享如下本文内容主要来自：http://www.ibm.com/developerworks/cn/web/1103_zhaoct_recommstudy2/index.html什么是协同过滤协同过滤是利用集体智慧的一个典型方法。要理解什么是协同过滤 (Collaborativ
2016-08-24 16:57:24
1253
转载 SVD在推荐系统中的应用
mahout中有SVD的推荐策略，今天查了一下资料了解了一下算法原理，本质上是使用SVD方法做特征降维，然后再计算相似度。下面这篇文章写的不错，和大家分享一下。转自：http://yanyiwu.com/work/2012/09/10/SVD-application-in-recsys.html线性代数相关知识：任意一个M*N的矩阵A（M行*N列，M>N），可以
2016-08-24 09:56:37
7180
转载 python 在不同层级目录import 模块的方法
转自：http://www.361way.com/python-import-dif-dir-module/4064.html一、同级目录下的调有程序结构如下：-- src |-- mod1.py |-- test1.py若在程序test1.py中导入模块mod1, 则直接使用：import mod1或from mod1 import *;二、调用子目录下的模块程序结构如下：-- s
2016-08-23 14:01:02
652
原创 Java实现快速排序（泛型）
Java实现快速排序（泛型）算法的原理详见：《坐在马桶上看算法：快速排序》 http://developer.51cto.com/art/201403/430986.htmpackage sort;import java.util.Arrays;/** * 快速排序的Java实现 * * @Author: lujin * @Created Date: 2016/8/23 9:23 * @
2016-08-23 11:02:50
713
转载 ubuntu上部署tomcat7的注意事项
原文：http://blog.chinaunix.net/uid-12023855-id-5288789.html安装命令：sudo apt-get install tomcat7注意：1）tomcat的安装目录在/usr/share/tomcat7启动、停止命令、日志都在这个目录。但是web app，配置文件在/var/lib/tomcat7 2
2016-08-22 22:09:57
693
转载 中文分词词性对照表
原文：http://blog.csdn.net/kevin_darkelf/article/details/39520881最近在用jieba分词做中文标签的提取，对于标注的词性缩写比较困惑，查了一下资料，记录如下：汉语词性对照表[北大标准/中科院标准] 词性名称注 解Ag形语素形容词性
2016-08-22 14:04:49
6142
原创 Ubuntu快速安装jdk 1.8
Ubuntu快速安装jdk 1.8apt-get是ubuntu上非常好用的软件安装工具，默认情况下安装的是openJDK。事实上，通过手动添加外部源，也可以完成jdk的安装。首先添加外部仓库：$ sudo add-apt-repository ppa:webupd8team/java$ sudo apt-get update$ sudo apt-get install oracle-java
2016-08-20 19:19:06
1098
原创 Python中文处理：str与unicode
使用python2.x做中文的文本挖掘，遇到了几个坑，现总结如下：1. 默认的defaultcoding：asciiUnicodeDecodeError: ‘ascii’ codec can’t decode byte ……如果遇到了上述错误，就应该好好检查一下python文件的编码格式了python默认使用defaultencoding=ascii，若你没注意这一点直接以
2016-08-19 15:17:09
2190
原创 Spring-Cache key设置注意事项
对Spring-cache @Cacheable方式的key的一些注意事项进行介绍，尤其是多关键字组合和方法名识别的问题
2016-08-18 12:53:36
51022
11
转载 使用 Maven Profile 和 Filtering 打各种环境的包
转自：https://segmentfault.com/a/1190000003908040每个项目都会有多套运行环境（开发，测试，正式等等），不同的环境配置也不尽相同（如jdbc.url)，借助Jenkins和自动部署提供的便利，我们可以把不同环境的配置文件单独抽离出来，打完包后用对应环境的配置文件替换打包后的文件，其实maven已经给我们提供了替换方案：profile
2016-08-18 09:01:36
5809
2
原创 调度对比：Crontab vs Quartz
1、执行粒度不通：Crontab是进程调度，Quartz是线程调度2、Crontab依赖于Unix系列平台，Quartz是Java实现因此是跨平台的
2016-08-15 10:00:47
3464
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人