- 博客(346)
- 资源 (12)
- 收藏
- 关注
RSS订阅原创 linux-Centos7 安装 python3 并且可以保留原来的pyhton2
1.查看是否已经安装PythonCentOS 7.默认安装了python2.7.5 因为一些命令要用它比如yum 它使用的是python2.7.5。使用 python -V命令查看一下是否安装Python然后使用命令which python查看一下Python可执行文件的位置可见执行文件在/usr/bin/目录下，切换到该目录下执行ll python*命令查看 python 指...
2018-06-28 14:39:24
644
原创 fastText 安装步骤
Requirements fastText builds on modern Mac OS and Linux distributions. Since it uses C++11 features, it requires a compiler with good C++11 support. These include :(gcc-4.8 or newer) or (clan...
2018-06-28 10:30:47
7247
原创 定时任务管理系统 gocron
gocron - 定时任务管理系统 项目简介使用Go语言开发的定时任务集中调度和管理系统, 用于替代Linux-crontab 查看文档 原有的延时任务拆分为独立项目延迟队列 功能特性Web界面管理定时任务crontab时间表达式, 精确到秒任务执行失败可重试任务执行超时, 强制结束任务依赖配置, A任务完成后再执行B任务账户权限控制任务...
2018-06-25 14:13:36
9102
1
原创 kettle 学习小结
kettle 学习总结What is ETLETL Extraction-Transformation-Loading的缩写，中文名称为数据提取、转换和加载。 ETL工具有：OWB(Oracle Warehouse Builder)、ODI(Oracle Data Integrator)、Informatic PowerCenter、Trinity、AICloudETL、...
2018-06-21 19:02:25
1439
原创 mongodb 设置密码
刚安装好MongoDB 数据库是没有用户名密码的 要保护你的数据 需要给你的MongoDB 添加用户名密码通常我们都是这么链接mongdb数据库的开始 开启服务 ./mongod -dbpath=d:/data/db 如果想在后台执行可以添加 –fork连接数据库 ./mongo现在连接上数据库了 切换到 ‘admin’ 数据库 use admi...
2018-06-20 15:03:50
1016
原创 linux 学习命令之 systemctl命令
systemctl命令是系统服务管理器指令，它实际上将 service 和 chkconfig 这两个命令组合到一起。实例1.启动nfs服务systemctl start nfs-server.service2.设置开机自启动systemctl enable nfs-server.service3.停止开机自启动systemctl disab...
2018-06-19 14:45:29
1203
原创 linux 定时任务替代大牛 工具 cronsun
部署本文主要介绍功能，这里就简单写下关键步骤： 1、安装 MongoDB，强烈建议使用集群模式 2、安装 Etcd3，强烈建议使用集群模式 3、部署 cronsun ①、下载 cronsun：https://github.com/shunfei/cronsun/releases (选择最新版本即可) ②、解压后修改 conf 目录下的配置文件：db.json 和 etcd.json...
2018-06-15 11:35:34
2279
转载 mongodb 3.4 集群搭建：分片+副本集
mongodb是最常用的nosql数据库，在数据库排名中已经上升到了前六。这篇文章介绍如何搭建高可用的mongodb（分片+副本）集群。在搭建集群之前，需要首先了解几个概念：路由，分片、副本集、配置服务器等。相关概念有四个组件：mongos、config server、shard、replica set。mongos，数据库集群请求的入口，所有的请求都通过mon...
2018-06-14 21:08:09
344
转载 js 实现大整数加法
问题描述 实现‘字符串加法’，即将两个以字符串形式表示的数字相加，得到结果然后返回一个新的字符串。例如：输入‘123’，‘321’，返回‘444’这样在进行两个任意大的整数相加的时候，既不会溢出，也不会损失精度。 function sumStrings(a,b){ var res='', c=0; a = a.split(''); b = b.spli...
2018-06-14 10:27:57
2549
原创 mysql update 批量更新方式
通常情况下，我们会使用以下SQL语句来更新字段值：UPDATE mytable SET myfield='value' WHERE other_field='other_value';但是，如果你想更新多行数据，并且每行记录的各字段值都是各不一样，你会怎么办呢？刚开始你可能会想到使用循环执行多条UPDATE语句的方式，就像以下的python程序示例：for x in xrang...
2018-06-08 17:37:19
34197
4
转载 Ubuntu上使用iptables + ipset 联合进行ip封禁
iptables是Linux上常用的防火墙软件，使用 iptables 封 IP，是一种比较简单的应对网络攻击的方式，也算是比较常见，但其使用链表作为数据结构，效率很低，复杂度都是O（n）； ipset 提供了把这个 O(n) 的操作变成 O(1) 的方法：就是把要处理的 IP 放进一个集合，对这个集合设置一条 iptables 规则。像 iptable 一样，IP sets 是 Li...
2018-06-08 16:46:25
1404
原创 linux系统配置免密码的方式：
linux系统配置免密码的方式：1：ssh-keygen -t rsa生成密钥2：ssh-copy-id -i ~/.ssh/id_rsa.pub jifeng@jifeng02把本机的公钥追到jifeng02的 .ssh/authorized_keys 里
2018-06-08 16:33:50
286
原创 Kettle 集群（cluster）在多个服务器（windows、linux）上并发执行
关于kettle集群在单机上的测试可参考文档：http://www.cnblogs.com/inuyasha1027/p/3259402.html。这里主要介绍服务器分布在不同主机上的情况。一、Kettle的部署不管是linux下还是windows下部署kettle前提是机器上都已安装JDK。其次把kettle的安装文件解压后即可。Windows下启动spoon.bat；linux下启动s...
2018-06-08 16:31:21
2038
2
原创 hive2.3.3安装使用
hive的安装简单一些,使用也比较简单,基础hadoop搭建好之后,只要初始化一些目录和数据库就好了安装需要做几件事:1.设立一个数据源作为元数据存储的地方,默认是derby内嵌数据库,不过不允许远程连接,所以换成mysql2.配置java路径和classpath路径下载地址: http://mirrors.shuosc.org/apache/hive/hive-2.3.3/解...
2018-06-05 13:18:46
2601
转载 Kettle6.0连接MongoDB报错
配置好mongodb连接之后，点击预览报下面的错：报错：java.lang.NoClassDefFoundError: javax/crypto/spec/PBEKeySpec at com.mongodb.DBPortScramSha1AuthenticatorScramSha1AuthenticatorScramSha1AuthenticatorScramSha1Sa...
2018-06-04 12:24:39
917
原创 mongodb 权限设置 --用户名、密码、端口 的修改等
关于权限的默认配置在默认情况下，mongod是监听在0.0.0.0之上的，任何客户端都可以直接连接27017，且没有认证。这样做的好处是，用户可以即时上手，不用担心被一堆配置弄的心烦意乱。然而坏处也是显而易见，如果直接在公网服务器上如此搭建MongoDB，那么所有人都可以直接访问并修改数据库数据了。默认情况下，mongod也是没有管理员账户的。因此除非你在admin数据库中使用db.add...
2018-06-01 20:59:34
2043
原创 mongodb 之初接触 及Mongodb数据导出工具mongoexport和导入工具mongoimport介绍
MongoDB 下载下来 下载地址 安装mongdb 服务启动 进入安装目录 C:\Program Files\MongoDB\Server\3.4\bin ./mongod –dbpath d:\data\db # 这个目录一定要存在 mongdb 默认端口 27017 一、导出工具mongoexportMongodb中的mongoexport工具可以把一个collect...
2018-06-01 20:12:03
1469
原创 kettle 显示中文乱码问题解决方案
用文本编辑器打开spoon.bat，在if “%PENTAHO_DI_JAVA_OPTIONS%”==”” set PENTAHO_DI_JAVA_OPTIONS=”-Xmx512m” “-XX:MaxPermSize=256m” 后面加了”-Dfile.encoding=UTF-8”，再重启即可解决乱码。...
2018-06-01 17:48:47
8841
1
原创 开源ETL工具：Kettle
Kettle也叫PDI，在2006年Kettle加入了开源的BI组织Pentaho，正式命名为PDI，英文全称为Pentaho Data Integeration。Kettle是“Kettle E.T.T.L. Envirnonment”只取首字母的缩写，这意味着它被设计用来帮助你实现你的ETTL需要：抽取、转换、装入和加载数据；翻译成中文名称应该叫水 壶，名字的起源正如该项目的主程序员MA...
2018-05-31 17:59:43
2527
原创 CentOS7 安装mysql
CentOS7默认数据库是mariadb,配置等用着不习惯,因此决定改成mysql,但是CentOS7的yum源中默认好像是没有mysql的。为了解决这个问题，我们要先下载mysql的repo源。下载mysql的repo源$ wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm安装mysq...
2018-05-31 17:58:50
209
原创 kettle 如何加密明文密码
如何加密明文密码 使用kettle自带的功能加密数据库密码（但是这个不适用与对email的密码加密，解析会出问题）。我们先在DOS命令行找到我们kettle安装目录： cd D:\study\pdi-ce-5.1.0.0-752\data-integration然后使用Encr.bat这个批处理文件来对我们的密码进行加密：我们就可以得到一个加密后的密码，如下图 注意...
2018-05-31 16:53:32
5254
原创 kettle 资源库简介 了解
一、Kettle资源库概述1、kettle资源库保存的是Kettle元数据。 2、资源库包括文件资源库、数据库资源库。在服务端新建资源库，只能使用数据库资源库。 3、不使用资源库：直接保存为ktr或kjb文件。二、如何选择资源库（一）数据库资源库的缺点1、不能存储转换或作业的多个版本。 2、严重依赖于数据库的锁机制来防止工作丢失。 3、 没有考虑到团队开发，开发人员...
2018-05-31 16:40:45
2081
原创 Kettle中各个版本比较大的变化
Kettle(现在已经更名为PDI，Pentaho Data Integration)中各个版本比较大的变化版本 新增功能 kettle 8.1 待补充 kettle7.1 Smarter Data Processing using the Adaptive Execution Layer (AEL) 、2. Drill-down Deeper on Your Data In-F...
2018-05-31 15:55:20
13819
1
转载 Python使用openpyxl读写excel文件
Python使用openpyxl读写excel文件这是一个第三方库，可以处理xlsx格式的Excel文件。pip install openpyxl安装。如果使用Aanconda，应该自带了。读取Excel文件需要导入相关函数。from openpyxl import load_workbook# 默认可读写，若有需要可以指定write_only和read_only为Truewb = load_wo...
2018-05-14 17:33:06
554
转载 什么是P问题、NP问题和NPC问题
这或许是众多OIer最大的误区之一。 你会经常看到网上出现“这怎么做，这不是NP问题吗”、“这个只有搜了，这已经被证明是NP问题了”之类的话。你要知道，大多数人此时所说的NP问题其实都是指的NPC问题。他们没有搞清楚NP问题和NPC问题的概念。NP问题并不是那种“只有搜才行”的问题，NPC问题才是。好，行了，基本上这个误解已经被澄清了。下面的内容都是在讲什么是P问题，什么是NP问题，什么是
2018-04-24 12:38:47
204
原创 前端离开页面事件总结
onbeforeunload onbeforeunload 事件在即将离开当前页面（刷新或关闭）时触发。 该事件可用于弹出对话框，提示用户是继续浏览页面还是离开当前页面。 对话框默认的提示信息根据不同的浏览器有所不同，标准的信息类似 “确定要离开此页吗？”。该信息不能删除。 但你可以自定义一些消息提示与标准信息一起显示在对话框。 注意： 如果你没有在 元素上指定 ...
2018-04-24 11:31:26
9799
转载 IDEA破解 2017 IDEA license server 激活（可用）
参考进入ide主页面，help-register-license server,然后输入 http://idea.iteblog.com/key.php（注意：php要小写）即可~ 如下图，
2017-12-07 11:16:46
2984
原创 git 高级 浅析
git 高级 浅析 Git是目前最流行的版本管理系统，学会Git几乎成了开发者的必备技能。 Git有很多优势，其中之一就是远程操作非常简便。本文详细介绍5个Git命令，它们的概念和用法，理解了这些内容，你就会完全掌握Git远程操作。git clonegit remotegit fetchgit pullgit push本文针对初级用户，从最简单的讲起，但是需要读者对Git的基本用
2017-08-30 20:37:00
445
原创 mysql配置文件详解
mysql配置文件详解[client]port = 3306 socket = /var/lib/mysql/mysql.sock[mysql]#这个配置段设置启动MySQL服务的条件；在这种情况下，no-auto-rehash确保这个服务启动得比较快。no-auto-rehash[mysqld]user = mysql port = 3306 socket = /var/lib
2017-08-30 20:35:49
468
原创 git 浅析clone,remote,fetch,pull ,push
git 浅析 Git是目前最流行的版本管理系统，学会Git几乎成了开发者的必备技能。 Git有很多优势，其中之一就是远程操作非常简便。本文详细介绍5个Git命令，它们的概念和用法，理解了这些内容，你就会完全掌握Git远程操作
2017-08-09 14:10:57
595
原创 Python爬虫利器二之Beautiful Soup的用法
1. Beautiful Soup的简介简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。 Beautiful Soup
2017-07-30 21:28:23
754
转载 Python MySQLdb escape_string 转义函数
python 模块MySQLdb自带的针对mysql的字符转义函数 escape_string
2017-07-06 15:40:07
3488
转载 Windows 10下mysql 64位 安装（mysql-5.7.11-winx64安装）
转载文章亲测好用 Windows下mysql 64位 安装（mysql-5.7.11-winx64安装） 系统Windows10 安装包mysql-5.7.11-winx64.zip 安装过程中遇到的问题，请留意4.0常见问题汇总，常见问题都可解决。 附上最近一次完成安装记录，给大忙人看的只有两张图和完整的命令。完成的命令C:\Windows\system32>g:
2017-06-23 13:47:07
602
转载 后台任务稳定运行方案--不受终端关闭或者远程（ssh等）连接失败影响
我们经常会碰到这样的问题，用 telnet/ssh 登录了远程的 Linux 服务器，运行了一些耗时较长的任务， 结果却由于网络的不稳定导致任务中途失败。如何让命令提交后不受本地关闭终端窗口/网络断开连接的干扰呢？下面举了一些例子， 您可以针对不同的场景选择不同的方式来处理这个问题。 从Linux知识可以看出，at的单次任务提交以后，就脱离了该终端的控制，是一种方案，其实例行任务方案cro
2017-06-17 11:54:32
1104
原创 windows 10 内置ubuntu 开启以及应用
刚到新公司最不习惯的就是公司用的windows ，用了两年的linux 突然之间用windows 是件很痛苦的事情，不过win 10 很好的解决了我的问题，最新版的 Windows 10 Insider Preview Build 14316 刚刚发布，其中最大的亮点莫过于微软和 Canonical 合作，在其中内置了一个 Ubuntu 的子系统。其运行原理并不是传统的虚拟机或者 Cygwin，而是
2017-06-17 00:08:43
36867
3
原创 java单链表的翻转
public class javatest1 { public static void main(String[] args) { Node head = new Node(0); Node node1 = new Node(1); Node node2 = new Node(2); Node node3 = new Node(
2017-06-04 18:23:40
375
原创 MySql 里的IFNULL、NULLIF和ISNULL用法
今天用到了MySql里的isnull才发现他和MSSQL里的还是有点区别，现在简单总结一下：mysql中isnull,ifnull,nullif的用法如下：isnull(expr) 的用法：如expr 为null，那么isnull() 的返回值为 1，否则返回值为 0。 mysql> select isnull(1+1); -> 0 mysql> select isnull(1/0);
2017-06-03 14:42:14
473
原创 快速排序
查找中轴（最低位作为中轴）所在位置/** * 查找出中轴（默认是最低位low）的在numbers数组排序后所在位置 * * @param numbers 带查找数组 * @param low 开始位置 * @param high 结束位置 * @return 中轴所在位置 */ public static int
2017-06-03 14:36:58
324
原创 解决RStudio中"plot.new() : figure margins too large"问题
在RStudio中使用plot()函数进行画图时，常出现“plot.new() : figure margins too large”问题。 出现该问题的原因是，RStudio里的【Plots】窗口太小，可以适当调大一点，或者把RStudio设置为全屏。解决步骤如下。
2017-06-03 14:28:00
2474
securecrt_linux_crack.pl
2015-12-01
pdfBox jar包集合
2015-07-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人