自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

geekfly的Blog

风月难扯,离合不骚。

  • 博客(102)
  • 资源 (8)
  • 收藏
  • 关注

原创 Java数据采集-4.分析常见的翻页(加载数据)方式

本篇文章主要分析当下常见的几种翻页(加载数据)的方式,并结合实际例子和截图介绍。在后续博客中针对这些网站,写代码完成数据抓取。1. 根据页码进行翻页 如CSDN的个人博客列表,我们可以轻松的分析出总页数和列表页地址。 共两页,列表页地址为:http://blog.csdn.net/TMaskBoy/article/list/2 对于此类型的网页,我们只需要根据总页数,遍历所有的列表页即可,

2017-07-20 20:15:25 1622 2

原创 Java数据采集-3.抓取开源中国新闻(新版)

最近看之前写的几篇网页数据采集的博客,陆陆续续的有好友发私信交流,又想重新整理一下这些了,抽空继续更新本系列博客。针对开源中国新闻列表新版,重新写代码抓取。 网址:https://www.oschina.net/news jar包:jsoup.1.7.2.jar 项目源码:https://github.com/geekfly2016/Spider分析新闻列表所在位置根据上图我们可

2017-07-19 21:14:19 2920

原创 JavaWeb中导入导出Excel数据

1. 利用文件上传的技术,将需要导入的Excel表上传至服务器上。2. 利用POI技术读取刚上传的文件,将数据封装至List集合。3. 将List集合转为实体类,进行持久化操作。

2016-06-24 19:42:20 19325 18

原创 JavaWeb中将数据从数据库导出到Excel表的实例

首先声明此博客基于 http://blog.csdn.net/evangel_z/article/details/7332535 https://github.com/T5750/poi (原著博客中介绍的程序源码) 这个博客里面开发的项目,使用POI导出Excel,经过修改支持文件弹窗选择,在使用中包括以下几步。 1.添加jar包 在刚才的github的项目里可

2016-05-28 16:03:15 17331 6

原创 SSM框架的搭建(Spring+SpringMVC+Mybatis第一个项目的搭建)

作者使用MyEclipse 2014版本 本博客所编写程序源码为:新建Web project 添加ljar文件 web.xml文件<?xml version="1.0" encoding="UTF-8"?><web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://java.sun.com/xml/

2016-05-21 09:33:31 22035 6

原创 Shell Mvn启动SpringBoot项目

Linux运行Springboot项目,因为不是开放完成,开发中需不停地调试,修改,更新,重启。每次都需要经过多步,所以考虑shell自动运行。

2022-08-11 16:57:18 46

原创 Ubuntu 16.04升级OpenSSH

ubuntu升级openssh

2022-08-09 23:58:58 183

原创 Ubuntu下安装Datax-web数据交换平台

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、SQLServer、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。DataXWeb是在DataX之上开发的分布式数据同步工具,提供简单易用的操作界面,降低用户使用DataX的学习成本,缩短任务配置时间,避免配置过程中出错。...

2022-07-31 23:22:25 415

原创 Canvas 再次安装中遇到的问题

canvas 、canvas rce、analytics安装部署中遇到的问题

2022-07-17 17:58:31 162

原创 Ubuntu安装PostGres 12

Install PostgreSQL 12 on Ubuntu 22.04|20.04|18.04|16.04

2022-07-12 00:07:35 184

原创 如何下载企业微信上课直播回放

一、标题官方渠道直播时开启了直播回放,在15天到期的时候,直播发起人会收到消息提前,在windows系统的企业微信客户端,可直接点击消息下载回放。截止目前Mac版还没有此功能(2021年09月29日)。二、非官方渠道1. 打开企业微信调试工具在企业微信下同时按Ctrl+Alt+Shift+D(Mac电脑按Command+Control+Shift+D)。显示Debug模式开启即可。2. 打开观看直播回放页面,点击检查元素这一步也可以点击右上角,在浏览器中的打开,然后企业微信扫码即可。浏览器需

2021-09-29 20:06:36 10780

原创 Mac OS安装PhantomJS及Selenium中调用

1. PhantomJS是什么?说人话就是:无界面浏览器PhantomJS是一个基于webkit的JavaScriptAPI。它使用QtWebKit作为它核心浏览器的功能,使用webkit来编译解释执行JavaScript代码。任何你可以在基于webkit浏览器做的事情,它都能做到。它不仅是个隐形的浏览器,提供了诸如CSS选择器、支持Web标准、DOM操作、JSON、HTML5、Canvas、SVG等,同时也提供了处理文件I/O的操作,从而使你可以向操作系统读写文件等。PhantomJS的用处可谓非

2021-08-20 11:51:52 307

原创 Maven 打包报错sun.security.validator.ValidatorException: PKIX path

使用mvn package打包是出现如下错误[ERROR] Failed to execute goal on project canvas: Could not resolve dependencies for project xxx:xxx:jar:0.0.1-SNAPSHOT: Failed to collect dependencies at org.apache.httpcomponents:httpclient-cache:jar:4.5.6: Failed to read artifact

2020-07-22 14:45:29 374

原创 Postgresql设置时区

查看时区show time zone查看时间select now();查看支持的时区列表select * from pg_timezone_names;设置成东八区 北京时间 UTC+8set time zone 'PRC'

2020-07-14 15:12:07 2416

原创 SAI2 安装及导入笔刷素材

1. 下载软件破解版下载网址:https://sai.yufan.me/此处下载 SAI Ver.2 破解版,下载后直接安装即可。2. 修改文件不要启动SAI2!!在桌面点击SAI2启动图标,右键打开文件位置,将笔刷和素材包内的素材文件夹拷贝到init文件夹中,如果提示文件冲突,选择全部替换。打开文档\SYSTEMAX Software Development\,删除SAIv2文件夹,新建SAI2 Demo,将笔刷包中的settings2.ssd拷贝到此文件中。3. 启动软件选择继承旧.

2020-05-14 17:54:04 9518 2

原创 Nginx反向代理某些请求出现502 Bad Gateway

Nginx跳转到另一台服务器提供的服务上,发现某些接口出现502错误,但这个接口有些时候是正常的,服务端的日志没有接收到改请求。通过IP测试访问正常,故怀疑是Nginx的问题。后来找到说压力太大,需要增加缓存。配置了两个地方:proxy_buffer_size 64k;proxy_buffering on;proxy_buffers 4 64k;proxy_busy_buffers_...

2020-04-11 00:46:08 2901

原创 Mac电脑打开文件夹在新标签还是新窗口的设置问题

如果想在新标签打开,打开Finder(访达),偏好设置,勾选“在标签页中打开文件夹”在文件夹上点右键会出现“在新标签页中打开”或按住 command+双击 可以在新标签打开但是,当点开某个文件夹并没有自动进入,而是在新标签打开了。即使不勾选这个选项也不行。那么需要在偏好设置->程序坞->打开文稿时首选标签页->仅在全屏幕视图下。就不会在新标签中打开了。...

2020-04-05 23:38:23 4186 1

原创 安装seafile 专业版步骤

官方文档参考:部署 Seafile 专业版1. 准备环境Ubuntu16.04注:Ubuntu用户名别使用seafile,否则安装过程中报错:useradd:用户“seafile”已存在2. 下载安装包https://download.seafile.top/d/8c29766a64d24122936f/当前最新版本:seafile-pro-server_7.0.9_x86-64...

2019-10-09 10:24:38 4072 2

原创 NB: JAVA_HOME should point to a JDK not a JRE

在Centos 6.10上部署项目前,使用yum安装jdk,配置环境变量,java -version正常输出,java -jar xx.jar能正常运行Spring Boot项目。但安装Maven并配置后报错。错误信息The JAVA_HOME environment variable is not defined correctlyThis environment variable is ...

2019-08-20 19:57:51 8330 3

原创 Spring Boot2.X中findOne的用法

SpringBoot在1.5.X版本中,传入id即可查询对象 xxxRepository.findOne(id);但在2.X中,findOne改为了<S extends T> Optional<S> findOne(Example<S> var1);getOne方法继续保留了,但是如果getOne(id)查询到的即使id不存在,也会返回该对象的引用,判断nu...

2019-06-12 09:21:37 1916

原创 Python3.6+jieba+wordcloud 爬取豆瓣影评生成词云

在上一篇介绍了如何通过Python爬虫抓取豆瓣电影榜单。Python3.6+Beautiful Soup+csv 爬取豆瓣电影Top250此篇博客主要抓取豆瓣某个电影的影评,利用jieba分词和wordcloud词云生成影评词云。下文以电影无名之辈为例:https://movie.douban.com/subject/27110296/comments?start=0&limit=...

2019-04-13 16:30:06 1349

原创 Python3.6+Beautiful Soup+csv 爬取豆瓣电影Top250

豆瓣电影 Top 250:https://movie.douban.com/top250?start=0&filter=Beautiful Soup:https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html注:本文获取内容全部使用Beautiful Soup的select方法,使用css选择器。有html...

2019-04-10 20:55:27 1544 3

原创 Canvas网络教学平台安装RCE富文本编辑插件(Rich Content Editor)

Rich Content EditorCanvas includes a new rich content editor component to support a consistent editor experience across multiple applications in the Canvas ecosystem. To make use of this component y...

2019-04-10 14:50:36 1515 5

原创 Canvas网络教学平台-升级

参考官方网址:https://github.com/instructure/canvas-lms/wiki/Upgrading1. Canvas Upgrade(更新代码)进入代码安装目录,如果未修改过官方的代码(除配置文件),可直接执行:sudo git fetch && git reset --hard origin/stable有修改需处理冲突或覆盖本地代码。2....

2019-04-09 16:28:34 5471

原创 JS中数组(Array)和字典(Map)的常用方法和属性

0. 数组 Array [ ]初始化 var arr1 = new Array(); var arr2 = []; var arr3 = [1, 2, 3];添加元素 - push向数组的末尾添加一个或更多元素,并返回新的长度。arr1.push(1);arr1.push('aaa', 'bbb');与push相反的方法:unshift 向数组的开头...

2019-04-08 20:31:21 4983

原创 Spring Boot Admin 2.0监控配置

Spring Boot Admin 用于监控基于 Spring Boot 的应用,它是在 Spring Boot Actuator 的基础上提供简洁的可视化 WEB UI。官网地址:https://github.com/codecentric/spring-boot-admin帮助文档:http://codecentric.github.io/spring-boot-admin/2.1.3/#...

2019-03-21 17:01:31 1406

原创 Canvas LMS集成Analysis插件

Canvas LMS:https://github.com/instructure/canvas-lmsCanvas Analytics 1.0:https://github.com/instructure/analytics模板配置文件如下:https://github.com/instructure/canvas-lms/blob/stable/config/cassandra.yml...

2019-01-24 16:29:48 1641 2

原创 Python3.6使用SMTP协议发送邮件

代码如下:# !/usr/bin/python3# coding: utf-8import smtplibfrom email.header import Headerfrom email.mime.text import MIMETextfrom email.utils import parseaddrfrom email.utils import formataddrd...

2018-11-04 15:01:13 2171

原创 Spring Boot 在Mac平台下打包Docker镜像及Linux服务器部署与运行

项目版本Spring Boot 1.5.15.RELEASEApache Maven 3.5.2MAC OS 10.13.6Java Version 1.8.0_1611. 安装Docker下载地址:https://download.docker.com/mac/stable/Docker.dmg (可使用迅雷等工具下载,浏览器下载太慢) 下载之后安装,启动,此处跳...

2018-09-09 21:13:50 4462

原创 浅谈企业微信中AccessToken管理和API操作

前言 众所周知,在微信公众平台开发中,其实就是一系列的API请求和自身业务系统的集成,而在API请求中,AccessToken是优势一个必不可少的参数。注:本文基于企业微信,故部分API请求可能和订阅号,服务号,小程序不太相同,但整体思路一致。本项目代码基于Java语言,SpringBoot框架。在企业微信开发文档中有这样一段: access_toke...

2018-05-01 14:36:31 3533 7

原创 Spring Boot项目配合Nginx发布(单IP,单域名,多项目,多端口)

因为喜欢使用jar包发布项目,单个项目的启停不会影响其他项目正常运行,又不喜欢为每个项目都配置域名,所以想到了这样的部署方案: 项目名 端口 访问域名 project1 10001 http://xxx.com/project1 project2 10002 http://xxx.com/project2主...

2018-02-03 10:00:06 3394

原创 iterm2 SSH免密码远程连接服务器

在/usr/local/bin目录下新建iterm2login.sh文件,内容如下:#!/usr/bin/expectset timeout 30spawn ssh -p [lindex $argv 0] [lindex $argv 1]@[lindex $argv 2]expect { "(yes/no)?" {send "yes\n";exp_c

2018-01-30 17:15:39 4234

原创 Spring Boot项目在Intellij IDEA 中实现热部署

在开发Spring Boot项目的过程中,每次修改文件都需要重新启动,于是在imooc上找了个视频,经过修改几个参数最终成功。参考视频:Spring Boot热部署的实现原视频中介绍有三种: Maven方式启动 感觉需要使用mvn命令,强迫症不喜欢看后台DOS窗口,直接忽略 修改IDE启动命令 和目前开发最相似,也是本博客配置方式 使用spring-b

2018-01-07 19:41:24 4287 3

原创 Git免密码登录

使用命令行的码农每次提交、更新代码都需要输入用户名,密码,懒得输了,就找到了这命令。1)git remote rm origin2)git remote add origin https://username:password@github.com/username/test.git3)git push origin master码云(gitee)的配置第二个不是username,如果是团队项目...

2017-12-20 20:42:06 1938

原创 Java数据采集-8.模拟登录

模拟登录一般分为以下几步:> 1. 获取登录的所需的信息> 2. 模拟提交账号信息,获取Cookie> 3. 携带Cookie进行目标操作

2017-10-15 17:14:10 1245 9

原创 传智播客_Springmvc+Mybatis由浅入深全套视频教程+文档

传智播客_Springmvc+Mybatis由浅入深全套视频教程+文档 此文件为网盘链接,鉴于很多地方都只有视频没有文档,特给大家放出资源。 文档放在具体分类下的文件中。链接: https://pan.baidu.com/s/1eSKSAIm 密码: scru

2017-09-06 15:09:15 4219 8

原创 Java数据采集-7.Ajax无刷新请求(翻页-3)

本篇继上述博客,介绍Ajax无刷新加载数据的方式,抓取阿里巴巴矢量图库。 技术重点:HttpClient 模拟请求FastJson 处理Json格式的数据

2017-08-14 21:45:26 1008

原创 Java数据采集-6.获取开源中国新闻列表(翻页-2)

> 本次抓取地址:https://www.oschina.net/news> 项目源码:https://github.com/geekfly2016/Spider> 代码目录:Spider/src/xyz/geekfly/get_list/OSCHINA_NEWS.java

2017-07-25 21:12:40 1686

原创 Java数据采集-5.获取CSDN个人博客列表(翻页-1)

本博客继上篇,针对第一种翻页加载数据的方式,编写实际代码演示。 因第三讲以详细介绍如何解析各个节点,之后教程不在详细截图说明分析过程,可根据我使用的css规则,自行对比分析。废话不多说,开始撸代码。模拟Url请求,获取节点String url = "http://blog.csdn.net/TMaskBoy/article/list/1";Document document = Jsou

2017-07-20 21:32:02 748

原创 Git免密码操作

无论在本地还是服务器上提交,更新代码等一系列操作时,都需要输入密码,简直无比蛋疼,此方法能省去输入密码的步骤,简直不能再爽了。只针对Linux和Mac用户,Windows用户请绕道。 在用户目录下(如:/home/ununtu)执行 vim .netrc 插入一下内容: machine bitbucket.org login geekfly2017 password your

2017-04-22 21:31:34 1104

SAI2-素材和笔刷.rar

sai2笔刷工具,对应教程https://blog.csdn.net/TMaskBoy/article/details/106124719

2020-05-14

HTML5浪漫爱心表白动画在线演示

知乎问题:程序员有哪些浪漫的情话或事情? 地址:https://www.zhihu.com/question/47801597/answer/107971154

2018-05-24

Java导入导出EXCEl(POI)

JavaWeb中将数据从Excel表导入到数据库的实例,对应博客http://blog.csdn.net/tmaskboy/article/details/51755305

2017-08-23

多功能jQuery日期控件 jeDate.zip

多功能jQuery日期控件 jeDate.zip 支持年月日,时分秒的选择。 请查看博客讲解:http://blog.csdn.net/TMaskBoy/article/details/51646994

2016-06-12

MyBatisGenerator

本工程为MyBatis Generator工程,实现数据库表到Mapper已经Po类的映射,只需要编写少量的配置信息,即可自动映射。

2016-05-29

SSM框架整合代码

http://blog.csdn.net/TMaskBoy/article/details/51464791 本代码是博客中搭建框架使用的代码,方便大家参考。 Spring+SpringMVC+Mybatis整合源码,亲测能运行。

2016-05-21

tomcat安装与配置,Eclipse集成与配置,首个程序发布

tomcat安装与配置,Eclipse集成与配置,首个程序发布

2015-09-21

Navicat Premium绿色版

Navicat Premium 是一个可多重连接的数据库管理工具,它可让你以单一程序同时连接到 MySQL、SQL Server、SQLite、Oracle 及 PostgreSQL 数据库,让管理不同类型的数据库更加方便。 Navicat Premium 结合了其他 Navicat 成员的功能。有了不同数据库类型的连接能力,Navicat Premium 支持在 MySQL、SQL Server、SQLite、Oracle 及 PostgreSQL 之间传输数据。它支持大部份 MySQL、SQL Server、SQLite、Oracle 及 PostgreSQL 的功能,包括存储过程,事件,触发器,函数,视图等。 Navicat Premium 使你能简单并快速地在各种数据库系统间传输数据,或传输一份指定SQL 格式及编码的纯文本文件。 不同数据库的批处理作业可以计划并在指定的时间运行。其他功能包括导入向导、导出向导、查询创建工具、报表创建工具、资料同步、备份、工作计划及更多。 Navicat 的功能足以符合专业开发人员的所有需求,但是对数据库服务器的新手来说又相当容易学习。 Navicat Premium 适用於三种平台 - Microsoft Windows、Mac OS X 及 Linux。它可以让使用者连接本地或远端伺服器、提供一些实用的资料库工具如资料同步、结构同步、汇入、汇出、备份、复原及报表以协助管理资料。

2015-08-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除