- 博客(23)
- 收藏
- 关注
RSS订阅
原创 For Myself
你花六块八块买个盒饭吃，觉得很节省，有人在路边买了七毛钱馒头吞咽后步履匆匆； 你八点起床看书，觉得很勤奋，上微博发现曾经的同学八点就已经在面对繁重的工作； 你周六补个课，觉得很累，打个电话才知道许多朋友都连续加班了一个月。 亲爱的，你真的还不够苦，不够勤奋和努力。...
2018-06-25 18:02:28
181
1
转载 python 3.7 运行 pyspider 报错 SyntaxError: invalid syntax
https://blog.csdn.net/weixin_41698864/article/details/89444910
2019-07-01 17:28:30
2902
转载 windows pip install pyspider 失败
https://www.cnblogs.com/kerbside/p/9630388.html
2019-07-01 15:08:18
463
原创 python基础 + Django 框架
http://www.runoob.com/python/python-tutorial.html python教程https://code.ziqiangxuetang.com/django/django-tutorial.html django中文教程 编写django项目步骤及其出现的问题总结 ：http://www.cnblogs.com/quietly-elega...
2019-02-14 16:29:28
157
转载 优雅的关闭spark streaming 程序
原文地址:https://qindongliang.iteye.com/blog/2404100github 地址:https://github.com/qindongliang/streaming-offset-to-zk
2019-01-18 16:27:29
2298
1
原创 关于linux中的top命令
top命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况top命令运行结果图第一行基本信息 load average:load average 表示系统负载均值，使用 top 或 uptime 可以查看到负载均值的信息，三个数值分表表示 1分钟内 、5分钟内 、 15分钟内的系统负载均值，要理解这三个数值的含义，首先要了解系统的“核数”系...
2019-01-04 15:56:50
421
原创 es 6.5 使用x-pack
前言elasticsearch6.3.1安装包中已经集成了x-pack插件，无需使用elasticsearch-plugin install来安装x-pack，我们需要做的是使x-pack工作版本es : 6.5.0kibana : 6.5.0安装步骤安装es、kibana下载安装包 es : https://www.elastic.co/downloads/elas...
2018-12-25 18:17:02
2110
原创 Centos 7.5 安装Mysql
wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpmrpm -ivh mysql-community-release-el7-5.noarch.rpm yum install mysql-community-serverservice mysqld restart设置root密码:mysq...
2018-10-23 11:13:02
349
原创 Jenkins 向nginx 域名 发送jar包
报错如下org.codehaus.cargo.container.ContainerException: Failed to deploy [/var/lib/jenkins/workspace/aliyun-financer/target/financer.war] at org.codehaus.cargo.container.tomcat.internal.AbstractTomca...
2018-10-19 15:49:22
276
原创 ubuntu 16 安装 mysql
下载mysqlsudo apt-get install mysql-server（下载过程中提示设置root密码）sudo apt-get install mysql-clientsudo apt-get install libmysqlclient-dev设置mysql允许远程访问编辑文件/etc/mysql/mysql.conf.d/mysqld.cnf，注释掉bind-ad...
2018-10-08 16:50:16
104
原创 Jenkins 创建用户、设置用户项目权限
角色创建系统管理 -> 管理用户 -> 新建用户 角色项目权限分配Jenkins安装Role-based Authorization Strategy 插件 在系统管理-Configure Global Security-授权策略-Role-Based Strategy，勾选Role-Based Strategy保存在设置中选择Manager and A...
2018-10-08 14:16:26
13254
1
原创 Linux下Jenkins、Gitlab、Tomcat自动化部署
工具版本:JDK：1.8.0_161Tomcat：8.xJenkins：2.138.1Maven：3.5.3Jenkins安装Jenkins是一款开源自动化服务器，旨在自动化连续集成和交付软件所涉及的重复技术任务。 Jenkins是基于Java的，可以从Ubuntu软件包安装，也可以通过下载和运行其Web应用程序ARchive（WAR）文件进行安装。将存储库密钥添...
2018-10-08 13:59:42
835
原创 Jenkins 中Publish over SSH插件使用
1.Publish over SSH插件下载2.插件配置插件安装成功后使用前需要在“系统管理>系统设置”中进行配置点击高级设置，可以使用密码登陆，勾选Use password authentication, or use a different key3.在Jenkin中配置sshSSH Server Name：选择系统设置中已添加的SSH服务器Tran...
2018-09-28 10:01:01
10521
原创 spark 提交任务到yarn 报错
报错信息:scala.reflect.api.JavaUniverse.runtimeMirror原因:scala版本问题,jar包中的scala版本与spark集群中的版本不一致解决:将jar包中的scala 版本 2.11.0 换成 2.10.5 ,重新打包执行...
2018-09-05 17:17:57
597
原创 elasticsearch-head 搭建
1.介绍 为了方便管理ES可以安装elasticsearch-head插件，一个浏览器管理es的插件，如果出现问题，方便es维护人员通过浏览器进行维护，当然开发者也可以不安装此插件。和ES 2xx版本不同，ES 5xx版本后的elasticsearch-head插件是独立运行的。2.下载head插件 去github下载elasticsearch-head插件（https://g...
2018-07-31 16:30:01
189
原创 调用 spark 程序
需要依赖： <dependency> <groupId>org.mortbay.jetty</groupId> <artifactId>jetty</artifactId> <version>6.1.26</version> </dependenc
2018-07-02 16:29:32
519
原创 ubuntu 使用crontab 定时器
https://www.cnblogs.com/zsychanpin/p/6940535.html要使用crontab定时器工具，必需要启动cron服务：service cron startcrontab的语法，以备日后救急。先上张超给力的图：crontab各參数说明：-e : 运行文字编辑器来编辑crontab，内定的文字编辑器是VI-r : 删除眼下的crontab-l : 列出眼下的cron...
2018-06-06 10:39:15
614
原创 spark 日志清理问题
jar 包在spark的 standalone 的 cluster 模式下执行报错如下：2018-06-04 16:08:37 ERROR ClientEndpoint:70 - Exception from cluster was: java.io.IOException: Failed to create directory /usr/lib/spark/work/driver-2018060...
2018-06-04 16:53:28
2262
原创 spark 集成 kafka ，Caused by: java.lang.AbstractMethodError
首先，集群的spark版本是2.3.0依赖：<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.11</artifactId> <version>2.2.0</version>&
2018-05-14 17:32:56
2897
原创 spark 写入 elasticsearch 错误
错误一： Caused by: org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: Cannot determine write shards for [Dood/info]; likely its format is incorrect (maybe it contains illegal characters?) ...
2018-05-02 17:02:24
2182
原创 spark 写入 单机elasticsearch
版本： spark：2.3.0 elasticsearch：6.2.3依赖：<dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch-spark-20_2.11</artifactId> <...
2018-05-02 16:53:14
441
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人