- 博客(346)
- 资源 (12)
- 收藏
- 关注
原创 linux-Centos7 安装 python3 并且可以保留原来的pyhton2
1.查看是否已经安装PythonCentOS 7.默认安装了python2.7.5 因为一些命令要用它比如yum 它使用的是python2.7.5。使用 python -V命令查看一下是否安装Python然后使用命令which python查看一下Python可执行文件的位置可见执行文件在/usr/bin/目录下,切换到该目录下执行ll python*命令查看 python 指...
2018-06-28 14:39:24 651
原创 fastText 安装步骤
Requirements fastText builds on modern Mac OS and Linux distributions. Since it uses C++11 features, it requires a compiler with good C++11 support. These include :(gcc-4.8 or newer) or (clan...
2018-06-28 10:30:47 7261
原创 定时任务管理系统 gocron
gocron - 定时任务管理系统 项目简介使用Go语言开发的定时任务集中调度和管理系统, 用于替代Linux-crontab 查看文档 原有的延时任务拆分为独立项目延迟队列 功能特性Web界面管理定时任务crontab时间表达式, 精确到秒任务执行失败可重试任务执行超时, 强制结束任务依赖配置, A任务完成后再执行B任务账户权限控制任务...
2018-06-25 14:13:36 9118 1
原创 kettle 学习小结
kettle 学习总结What is ETLETL Extraction-Transformation-Loading的缩写,中文名称为数据提取、转换和加载。 ETL工具有:OWB(Oracle Warehouse Builder)、ODI(Oracle Data Integrator)、Informatic PowerCenter、Trinity、AICloudETL、...
2018-06-21 19:02:25 1455
原创 mongodb 设置密码
刚安装好MongoDB 数据库是没有用户名密码的 要保护你的数据 需要给你的MongoDB 添加用户名密码通常我们都是这么链接mongdb数据库的开始 开启服务 ./mongod -dbpath=d:/data/db 如果想在后台执行可以添加 –fork连接数据库 ./mongo现在连接上数据库了 切换到 ‘admin’ 数据库 use admi...
2018-06-20 15:03:50 1025
原创 linux 学习命令之 systemctl命令
systemctl命令是系统服务管理器指令,它实际上将 service 和 chkconfig 这两个命令组合到一起。实例1.启动nfs服务systemctl start nfs-server.service2.设置开机自启动systemctl enable nfs-server.service3.停止开机自启动systemctl disab...
2018-06-19 14:45:29 1215
原创 linux 定时任务替代大牛 工具 cronsun
部署本文主要介绍功能,这里就简单写下关键步骤: 1、安装 MongoDB,强烈建议使用集群模式 2、安装 Etcd3,强烈建议使用集群模式 3、部署 cronsun ①、下载 cronsun:https://github.com/shunfei/cronsun/releases (选择最新版本即可) ②、解压后修改 conf 目录下的配置文件:db.json 和 etcd.json...
2018-06-15 11:35:34 2285
转载 mongodb 3.4 集群搭建:分片+副本集
mongodb是最常用的nosql数据库,在数据库排名中已经上升到了前六。这篇文章介绍如何搭建高可用的mongodb(分片+副本)集群。在搭建集群之前,需要首先了解几个概念:路由,分片、副本集、配置服务器等。相关概念有四个组件:mongos、config server、shard、replica set。mongos,数据库集群请求的入口,所有的请求都通过mon...
2018-06-14 21:08:09 354
转载 js 实现大整数加法
问题描述 实现‘字符串加法’,即将两个以字符串形式表示的数字相加,得到结果然后返回一个新的字符串。例如:输入‘123’,‘321’,返回‘444’这样在进行两个任意大的整数相加的时候,既不会溢出,也不会损失精度。 function sumStrings(a,b){ var res='', c=0; a = a.split(''); b = b.spli...
2018-06-14 10:27:57 2563
原创 mysql update 批量更新方式
通常情况下,我们会使用以下SQL语句来更新字段值:UPDATE mytable SET myfield='value' WHERE other_field='other_value';但是,如果你想更新多行数据,并且每行记录的各字段值都是各不一样,你会怎么办呢?刚开始你可能会想到使用循环执行多条UPDATE语句的方式,就像以下的python程序示例:for x in xrang...
2018-06-08 17:37:19 34208 4
转载 Ubuntu上使用iptables + ipset 联合进行ip封禁
iptables是Linux上常用的防火墙软件,使用 iptables 封 IP,是一种比较简单的应对网络攻击的方式,也算是比较常见,但其使用链表作为数据结构,效率很低,复杂度都是O(n); ipset 提供了把这个 O(n) 的操作变成 O(1) 的方法:就是把要处理的 IP 放进一个集合,对这个集合设置一条 iptables 规则。像 iptable 一样,IP sets 是 Li...
2018-06-08 16:46:25 1415
原创 linux系统配置免密码的方式:
linux系统配置免密码的方式:1:ssh-keygen -t rsa生成密钥2:ssh-copy-id -i ~/.ssh/id_rsa.pub jifeng@jifeng02把本机的公钥追到jifeng02的 .ssh/authorized_keys 里
2018-06-08 16:33:50 293
原创 Kettle 集群(cluster)在多个服务器(windows、linux)上并发执行
关于kettle集群在单机上的测试可参考文档:http://www.cnblogs.com/inuyasha1027/p/3259402.html。这里主要介绍服务器分布在不同主机上的情况。一、Kettle的部署不管是linux下还是windows下部署kettle前提是机器上都已安装JDK。其次把kettle的安装文件解压后即可。Windows下启动spoon.bat;linux下启动s...
2018-06-08 16:31:21 2058 2
原创 hive2.3.3安装使用
hive的安装简单一些,使用也比较简单,基础hadoop搭建好之后,只要初始化一些目录和数据库就好了安装需要做几件事:1.设立一个数据源作为元数据存储的地方,默认是derby内嵌数据库,不过不允许远程连接,所以换成mysql2.配置java路径和classpath路径下载地址: http://mirrors.shuosc.org/apache/hive/hive-2.3.3/解...
2018-06-05 13:18:46 2612
转载 Kettle6.0连接MongoDB报错
配置好mongodb连接之后,点击预览报下面的错:报错:java.lang.NoClassDefFoundError: javax/crypto/spec/PBEKeySpec at com.mongodb.DBPortScramSha1AuthenticatorScramSha1AuthenticatorScramSha1AuthenticatorScramSha1Sa...
2018-06-04 12:24:39 926
原创 mongodb 权限设置 --用户名、密码、端口 的修改等
关于权限的默认配置在默认情况下,mongod是监听在0.0.0.0之上的,任何客户端都可以直接连接27017,且没有认证。这样做的好处是,用户可以即时上手,不用担心被一堆配置弄的心烦意乱。然而坏处也是显而易见,如果直接在公网服务器上如此搭建MongoDB,那么所有人都可以直接访问并修改数据库数据了。默认情况下,mongod也是没有管理员账户的。因此除非你在admin数据库中使用db.add...
2018-06-01 20:59:34 2054
原创 mongodb 之初接触 及Mongodb数据导出工具mongoexport和导入工具mongoimport介绍
MongoDB 下载下来 下载地址 安装mongdb 服务启动 进入安装目录 C:\Program Files\MongoDB\Server\3.4\bin ./mongod –dbpath d:\data\db # 这个目录一定要存在 mongdb 默认端口 27017 一、导出工具mongoexportMongodb中的mongoexport工具可以把一个collect...
2018-06-01 20:12:03 1480
原创 kettle 显示中文乱码问题解决方案
用文本编辑器打开spoon.bat,在if “%PENTAHO_DI_JAVA_OPTIONS%”==”” set PENTAHO_DI_JAVA_OPTIONS=”-Xmx512m” “-XX:MaxPermSize=256m” 后面加了”-Dfile.encoding=UTF-8”,再重启即可解决乱码。...
2018-06-01 17:48:47 8856 1
原创 开源ETL工具:Kettle
Kettle也叫PDI,在2006年Kettle加入了开源的BI组织Pentaho,正式命名为PDI,英文全称为Pentaho Data Integeration。Kettle是“Kettle E.T.T.L. Envirnonment”只取首字母的缩写,这意味着它被设计用来帮助你实现你的ETTL需要:抽取、转换、装入和加载数据;翻译成中文名称应该叫水 壶,名字的起源正如该项目的主程序员MA...
2018-05-31 17:59:43 2538
原创 CentOS7 安装mysql
CentOS7默认数据库是mariadb,配置等用着不习惯,因此决定改成mysql,但是CentOS7的yum源中默认好像是没有mysql的。为了解决这个问题,我们要先下载mysql的repo源。下载mysql的repo源$ wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm安装mysq...
2018-05-31 17:58:50 217
原创 kettle 如何加密明文密码
如何加密明文密码 使用kettle自带的功能加密数据库密码(但是这个不适用与对email的密码加密,解析会出问题)。我们先在DOS命令行找到我们kettle安装目录: cd D:\study\pdi-ce-5.1.0.0-752\data-integration然后使用Encr.bat这个批处理文件来对我们的密码进行加密:我们就可以得到一个加密后的密码,如下图 注意...
2018-05-31 16:53:32 5269
原创 kettle 资源库简介 了解
一、Kettle资源库概述1、kettle资源库保存的是Kettle元数据。 2、资源库包括文件资源库、数据库资源库。在服务端新建资源库,只能使用数据库资源库。 3、不使用资源库:直接保存为ktr或kjb文件。二、如何选择资源库(一)数据库资源库的缺点1、不能存储转换或作业的多个版本。 2、严重依赖于数据库的锁机制来防止工作丢失。 3、 没有考虑到团队开发,开发人员...
2018-05-31 16:40:45 2090
原创 Kettle中各个版本比较大的变化
Kettle(现在已经更名为PDI,Pentaho Data Integration)中各个版本比较大的变化版本 新增功能 kettle 8.1 待补充 kettle7.1 Smarter Data Processing using the Adaptive Execution Layer (AEL) 、2. Drill-down Deeper on Your Data In-F...
2018-05-31 15:55:20 13847 1
转载 Python使用openpyxl读写excel文件
Python使用openpyxl读写excel文件这是一个第三方库,可以处理xlsx格式的Excel文件。pip install openpyxl安装。如果使用Aanconda,应该自带了。读取Excel文件需要导入相关函数。from openpyxl import load_workbook# 默认可读写,若有需要可以指定write_only和read_only为Truewb = load_wo...
2018-05-14 17:33:06 565
转载 什么是P问题、NP问题和NPC问题
这或许是众多OIer最大的误区之一。 你会经常看到网上出现“这怎么做,这不是NP问题吗”、“这个只有搜了,这已经被证明是NP问题了”之类的话。你要知道,大多数人此时所说的NP问题其实都是指的NPC问题。他们没有搞清楚NP问题和NPC问题的概念。NP问题并不是那种“只有搜才行”的问题,NPC问题才是。好,行了,基本上这个误解已经被澄清了。下面的内容都是在讲什么是P问题,什么是NP问题,什么是
2018-04-24 12:38:47 214
原创 前端离开页面事件总结
onbeforeunload onbeforeunload 事件在即将离开当前页面(刷新或关闭)时触发。 该事件可用于弹出对话框,提示用户是继续浏览页面还是离开当前页面。 对话框默认的提示信息根据不同的浏览器有所不同,标准的信息类似 “确定要离开此页吗?”。该信息不能删除。 但你可以自定义一些消息提示与标准信息一起显示在对话框。 注意: 如果你没有在 元素上指定 ...
2018-04-24 11:31:26 9840
转载 IDEA破解 2017 IDEA license server 激活(可用)
参考进入ide主页面,help-register-license server,然后输入 http://idea.iteblog.com/key.php(注意:php要小写)即可~ 如下图,
2017-12-07 11:16:46 2995
原创 git 高级 浅析
git 高级 浅析 Git是目前最流行的版本管理系统,学会Git几乎成了开发者的必备技能。 Git有很多优势,其中之一就是远程操作非常简便。本文详细介绍5个Git命令,它们的概念和用法,理解了这些内容,你就会完全掌握Git远程操作。git clonegit remotegit fetchgit pullgit push本文针对初级用户,从最简单的讲起,但是需要读者对Git的基本用
2017-08-30 20:37:00 455
原创 mysql配置文件详解
mysql配置文件详解[client]port = 3306 socket = /var/lib/mysql/mysql.sock[mysql]#这个配置段设置启动MySQL服务的条件;在这种情况下,no-auto-rehash确保这个服务启动得比较快。no-auto-rehash[mysqld]user = mysql port = 3306 socket = /var/lib
2017-08-30 20:35:49 475
原创 git 浅析clone,remote,fetch,pull ,push
git 浅析 Git是目前最流行的版本管理系统,学会Git几乎成了开发者的必备技能。 Git有很多优势,其中之一就是远程操作非常简便。本文详细介绍5个Git命令,它们的概念和用法,理解了这些内容,你就会完全掌握Git远程操作
2017-08-09 14:10:57 605
原创 Python爬虫利器二之Beautiful Soup的用法
1. Beautiful Soup的简介简单来说,Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据。官方解释如下: Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。 Beautiful Soup
2017-07-30 21:28:23 761
转载 Python MySQLdb escape_string 转义函数
python 模块MySQLdb自带的针对mysql的字符转义函数 escape_string
2017-07-06 15:40:07 3496
转载 Windows 10下mysql 64位 安装(mysql-5.7.11-winx64安装)
转载文章亲测好用 Windows下mysql 64位 安装(mysql-5.7.11-winx64安装) 系统Windows10 安装包mysql-5.7.11-winx64.zip 安装过程中遇到的问题,请留意4.0常见问题汇总,常见问题都可解决。 附上最近一次完成安装记录,给大忙人看的只有两张图和完整的命令。完成的命令C:\Windows\system32>g:
2017-06-23 13:47:07 609
转载 后台任务稳定运行方案--不受终端关闭或者远程(ssh等)连接失败影响
我们经常会碰到这样的问题,用 telnet/ssh 登录了远程的 Linux 服务器,运行了一些耗时较长的任务, 结果却由于网络的不稳定导致任务中途失败。如何让命令提交后不受本地关闭终端窗口/网络断开连接的干扰呢?下面举了一些例子, 您可以针对不同的场景选择不同的方式来处理这个问题。 从Linux知识可以看出,at的单次任务提交以后,就脱离了该终端的控制,是一种方案,其实例行任务方案cro
2017-06-17 11:54:32 1119
原创 windows 10 内置ubuntu 开启以及应用
刚到新公司最不习惯的就是公司用的windows ,用了两年的linux 突然之间用windows 是件很痛苦的事情,不过win 10 很好的解决了我的问题,最新版的 Windows 10 Insider Preview Build 14316 刚刚发布,其中最大的亮点莫过于微软和 Canonical 合作,在其中内置了一个 Ubuntu 的子系统。其运行原理并不是传统的虚拟机或者 Cygwin,而是
2017-06-17 00:08:43 36884 3
原创 java单链表的翻转
public class javatest1 { public static void main(String[] args) { Node head = new Node(0); Node node1 = new Node(1); Node node2 = new Node(2); Node node3 = new Node(
2017-06-04 18:23:40 382
原创 MySql 里的IFNULL、NULLIF和ISNULL用法
今天用到了MySql里的isnull才发现他和MSSQL里的还是有点区别,现在简单总结一下:mysql中isnull,ifnull,nullif的用法如下:isnull(expr) 的用法:如expr 为null,那么isnull() 的返回值为 1,否则返回值为 0。 mysql> select isnull(1+1); -> 0 mysql> select isnull(1/0);
2017-06-03 14:42:14 482
原创 快速排序
查找中轴(最低位作为中轴)所在位置/** * 查找出中轴(默认是最低位low)的在numbers数组排序后所在位置 * * @param numbers 带查找数组 * @param low 开始位置 * @param high 结束位置 * @return 中轴所在位置 */ public static int
2017-06-03 14:36:58 332
原创 解决RStudio中"plot.new() : figure margins too large"问题
在RStudio中使用plot()函数进行画图时,常出现“plot.new() : figure margins too large”问题。 出现该问题的原因是,RStudio里的【Plots】窗口太小,可以适当调大一点,或者把RStudio设置为全屏。解决步骤如下。
2017-06-03 14:28:00 2489
securecrt_linux_crack.pl
2015-12-01
pdfBox jar包集合
2015-07-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人