2019年08月_weixin_30885111

转载爬取股票数据

目录爬取股票数据 1 爬取前的分析 2 爬取流程爬取股票数据1 爬取前的分析技术路线：使用 requests + bs4 + re数据网站选取原则：股票信息静态存在于 HTML 页面中，非 js 代码生成没有 Robots 协议限制获取股票列表...

2019-08-30 17:06:00 1436

转载 Gitlab 迁移

一、说明系统版本：Centos7.5Gitlab版本：10.8.7#查看gitlab版本号：cat /opt/gitlab/embedded/service/gitlab-rails/VERSION二、安装Gitlab2.1 配置安装源vim /etc/yum.repos.d/gitlab-ce.repo[gitlab-ce]name...

2019-08-29 17:13:00 301

转载 linux工具集

1.ag：比grep、ack更快的递归搜索文件内容　　安装：　　　　1：首先在linux创建个sh文件->ag.sh　　　　2：在ag.sh里面输入如下内容并保存set -xTEMP_DIR=$(mktemp -d Leslie.Guan.XXXXXX)cd ${TEMP_DIR}wget https://github.com/ggreer/the_...

2019-08-29 10:37:00 132

转载 mycli初体验

一.安装pip install mycli二.使用mycli --help　　三.特点语法不全，高亮等转载于:https://www.cnblogs.com/tjp40922/p/11427936.html

2019-08-29 09:46:00 240

转载镜像仓库 Nexus 3.18.1

说明：Nexus是Sonatype提供的仓库管理平台，Nuexus Repository OSS3能够支持Maven、npm、Docker、YUM、Helm等格式数据的存储和发布。一、安装jdk1）安装JDKyum install -y java-1.8.0-openjdk*2）配置环境vim /etc/profile# set java enviro...

2019-08-28 10:25:00 332

转载利用 Python 进行批量更改文件后缀

利用 Python 进行批量更改文件后缀代码import osfiles = os.listdir('.')for file_name in files: portion = os.path.splitext(file_name) if portion[1] == ".jpg": new_name = portion[0] + ".gif" ...

2019-08-27 18:03:00 115

转载我这样回答了Spring 5的新特性，面试官对我刮目相看

最近，有一个小伙伴拿到了自己满意的Offer，和他交谈的过程中得知他面试官问他关于Spring的问题比较多，其中最让面试官满意的就是自己回答关于Spring 5的知识点回答的不错。Spring5于2017年9月发布了通用版本，它是自2013年12月以来第一个主要的Spring版本。它提供了一些人们期待已久的改进，还采用了一种全新的编程范例，以反应式原则为基础。这个版本是很长时间以...

2019-08-27 17:25:00 88

转载 maven-3.6.1

1、下载cd /opt/wget https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.1/binaries/apache-maven-3.6.1-bin.tar.gztar -zxvf apache-maven-3.6.1-bin.tar.gzmv apache-maven-3.6.1 maven...

2019-08-27 15:38:00 1445

转载 Python 数据分析中金融数据的来源库和简单操作

目录金融数据 pandas-datareader TuShare 金融学图表案例金融数据数据分析离不开数据的获取，这里介绍几种常用的获取金融方面数据的方法。pandas-datareaderpa...

2019-08-24 16:58:00 182

转载 Chrome调试工具常用功能

一.打开的快捷键　　windows: ctrl + shift + i/F12　　1.Elements　　　　1.选中元素切换至 Event… Tab可以查看这个元素绑定的事件　　　　2.在 Element 选项卡中可以修改html　　2.断点在 Sources 面板 js 文件行号处设置断点, 这里除了常规断点外, 还有个条件断点(右...

2019-08-23 18:11:00 121

转载 Rancher 构建 CI/CD 自动化流程 - 动态配置 Jenkins-slave（二）

一、说明1.1 说明前面介绍采用 Jenkinsfile + KubernetesPod.yaml 方式进行部署项目（Rancher 构建 CI/CD 自动化流程 - 动态配置 Jenkins-slave（一）），maven、kubectl 等容器工具需要在KubernetesPod.yaml 中定义，一同存放在代码仓库中托管，比较繁琐。这里采用 Jenkinsfile +...

2019-08-23 14:42:00 718

转载把读取sql的结果写入到excel文件

1.利用pandas模块# encoding: utf-8import timeimport pandas as pdimport pymysqldef getrel(sql): ''' 连接mysql数据库，根据条件查询出来我们所需要数据 :return: 根据条件从sql查询出来的数据 ''' conn =...

2019-08-23 10:14:00 598

转载鸭子类型和猴子补丁

一，鸭子类型鸭子类型是对Python中数据类型本质上是由属性和行为来定义的一种解读。Python是一种动态语言，不像Java和C++这种强类型语言，Python里实际上没有严格的类型检查。只要某个对象具有鸭子的方法，可以像鸭子那样走路和嘎嘎叫，那么它就可以被其它函数当做鸭子一样调用。# 这是一个鸭子(Duck)类class Duck: ...

2019-08-22 10:00:00 167

转载 Scrapy同时启动多个爬虫

1. 在项目文件夹中新建一个commands文件夹2. 在command的文件夹中新建一个文件 crawlall.py3.在crawlall.py 中写一个command类，该类继承 scrapy.commandsfrom scrapy.commands import ScrapyCommandclass Command(ScrapyCommand): ...

2019-08-21 23:04:00 114

转载 burpsuit之Repeater、Sequencer、Decoder、Comparer模块

站位转载于:https://www.cnblogs.com/tjp40922/p/11391802.html

2019-08-21 23:00:00 118

转载 Jenkins-slave 镜像集成 docker 和 kubectl

1、说明对官方的jenkins/jnlp-slave 镜像集成docker 和 kubectl 命令。2、Dockerfile 文件该镜像底层采用的是 Debian 系统，先更改下载源，然后安装 docker-ce，并下载 kubectl 文件（因官网下载链接有墙，故用 rancher 提供的下载链接）。FROM jenkins/jnlp-slaveEN...

2019-08-21 13:38:00 1220

转载企业库5.0 | RefCountingDataReader 不能强制转换为 SqlDataReader

英文参考方案（推荐 | 权威）　　http://entlib.codeplex.com/Thread/View.aspx?ThreadId=211288本人的解说　　修改您以前的代码，以适应这种更新。代码如下其一：RefCountingDataReader reader = (RefCountingDataReader) _database.E...

2019-08-21 06:44:06 100

转载利用多态的优点简化代码

using System;using System.Collections.Generic;using System.Text;/*多态简化了代码的维护* 如果不是多态的时候*/namespace ConsoleApplication1{public class Student { private string name; private ...

2019-08-20 21:28:12 298

转载 2007年9-11月

1、Asp.net1.1升级到2.0遇到的一些问题总结 http://www.cnblogs.com/unfish/archive/2006/09/10/500230.html 2、1.1升级到2.0，我使用sessionStatemode="SQLServer"，web.config文件<sessionStatemode...

2019-08-20 15:01:41 80

转载 burpsuit之Spider、Scanner、Intruder模块

　1.spider模块　　　1.spider模块介绍　　　　被动爬网：（被动爬网获得的链接是手动爬网的时候返回页面的信息中分析发现超链接）　　　　对于爬网的时候遇到HTML表单如何操作：　　　　　　需要表单身份认证时如何操作（默认是进行提示）：　　　　　　　　　　　　　　请求头，在爬网的时候自动添加到请求头处：　　　　　　　　...

2019-08-19 21:58:00 236

转载 burpsuit的安装和简单使用

一.burpsuit的环境搭建　　　　　　Burp Suite可以说是Web安全工具中的瑞士军刀，打算写几篇Blog以一个小白的角度去学习Burp Suite（简称BP），会详细地说一下的用法，说明一下每一个部分是什么功能，主要通过图的备注来说明各个按钮是什么功能。有什么错误也希望走过路过的大佬们指出，由于是说基本用法所以比较基础，各种大佬大神可以绕过啦哈哈。注意...

2019-08-18 17:48:00 328

转载配置 Jenkins 连接 Kubernetes 集群

需求：外部 Jenkins 需要连接 Rancher 中的 Kubernetes 集群。1、集群 config 文件Rancher 首页，"集群" --> 右上角"Kubeconfig 文件"，后续需要用到该文件内容。apiVersion: v1kind: Configclusters:- name: "cicd" cluster:...

2019-08-16 18:11:00 1316

转载 Rancher 构建 CI/CD 自动化流程 - 动态配置 Jenkins-slave（一）

一、说明1）需求：Rancher 上部署 Jenkins-master，服务采用 Jenkins-slave 发布，发布完成后 Jenkins-slave 自动销毁。2）环境：Rancher 2.2.7 （部署Rancher参考之前文章：离线安装 Rancher2.2.4 HA 集群）Jenkins2.176.2二、安装 Jenkins2.1 安装 ...

2019-08-16 13:13:00 825

转载在云服务搭建jupyter环境

一.环境配置centeos7python3二.安装jupyter notebook　　1.安装jupyter　　安装Jupyter Notebook　　通过pip安装Jupyter Notebook#安装jupyter notebookpython3 -m pip install jupyter#安装完会在python3的包管理器，创建...

2019-08-16 11:39:00 159

转载 centeos安装Anconda3

　　步骤：#获取安装包wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.2.0-Linux-x86_64.sh# 安装bzip2yum install -y bzip2bash Anaconda3-5.2.0-Linux-x86_64.sh#一路回车，哟啊注意选...

2019-08-16 10:15:00 83

转载 PCB设计中的铜箔厚度、线宽和电流关系表

也可以使用经验公式计算：0.15*线宽（W）A 以上数据均为温度在25 oC下的线路电流承载值导线阻抗：0.0005*L/W（线长/线宽）电流承载值与线路上元器件数量/焊盘以及过孔都直接关系转载于:https://www.cnblogs.com/masky5310/archive/2011/02/25/1...

2019-08-15 17:30:56 1015

转载 frida的简单实用

一.环境　　1.环境1.手机运行服务端2. 电脑端运行客户端3.进行端口转发　　adb forward tcp:27042 tcp:27042　　adb forward tcp:27043 tcp:27043　　2. 测试λ frida-ps -R成功的标志： PID Name ---- ------------------------ 717 a...

2019-08-15 14:19:00 288

转载 mybatis与spring整合

因spring3发布时mybatis还没有出正式版本，所以spring没有整合最新的mybatis.不过社区倒是开发了一个中间件。需要的jar包mybatis-3.0.6.jarmybatis-spring-1.0.2.jar要点：1.在spring中配置mybatis工厂类2.在dao层使用spring注入的的工具bean对数据进行操作整合时，可以有四...

2019-08-15 13:08:06 55

转载基于TCP 协议的socket 简单通信

DNS 服务器:域名解析socket 套接字 : socket 是处于应用层与传输层之间的抽象层,也是一组操作起来非常简单的接口(接受数据),此接口接受数据之后,交由操作系统为什么存在 socket 抽象层?如果直接与操作系统数据交互非常的麻烦,繁琐,socket 对这些繁琐的操作高度的封装,简化socket 在 Python 中就是一个模块基于 TCP 协议的 socket 的简单...

2019-08-14 22:05:00 129

转载 frida(hook工具)的环境搭建

一.简介　　frida 是一款基于 python+javascript 的 hook 框架，可运行在 android、ios、linux、win等各个平台，主要使用的动态二进制插桩技术。　　Frida官网：https://www.frida.re/　　Frida源码：https://github.com/frida二、环境基础windows7 X64python ...

2019-08-14 18:12:00 1521

转载 linux查看实时日志命令

tail -flocalhost_access_log.2018-12-11.txt(当前时间)今天的实时日志，操作一下系统，就会报出相应的日志转载于:https://www.cnblogs.com/feifeicui/p/11351889.html

2019-08-14 14:51:00 615

转载 vim不能使用小键盘

使用终端登录Linux后使用vim编辑文本，这时在默认设置下载插入模式使用小键盘会插入一些非数字的字符。更改的方法:在终端设置中选择终端类型为linux转载于:https://www.cnblogs.com/tjp40922/p/11351517.html...

2019-08-14 13:57:00 62

转载 CentOS系统python默认版本由python2改为python3

一.了解　　CentOS中如果安装有yum，一般会有python2的某个版本。命令行键入python，出现的python2的环境：[root@instance-hrnebyqu src]# pythonPython 2.7.5 (default, Apr 11 2018, 07:36:10) [GCC 4.8.5 20150623 (Red Hat 4.8.5-28)...

2019-08-14 13:54:00 530

转载 Celery ValueError: not enough values to unpack (expected 3, got 0)的解决方案

最近因项目需要，在使用任务队列Celery的时候，出现如题错误，最终在github上里找到解决办法，记录一下。运行环境环境：win10 + python3 + redis 2.10.6 + celery 4.2.1win10上运行celery4.x会出现这个问题，开启任务队列一切正常（显示ready提示），一旦接受任务，就报ValueError: not enough value...

2019-08-13 14:05:00 95

转载分布式框架Celery（转）

一.简介 Celery是一个异步任务的调度工具。 Celery 是 Distributed Task Queue，分布式任务队列，分布式决定了可以有多个 worker 的存在，队列表示其是异步操作，即存在一个产生任务提出需求的工头，和一群等着被分配工作的码农。在 Python 中定义 Celery 的时候，我们要引入 Broker，中文翻译过来...

2019-08-13 14:04:00 118

转载应用AOP简化WinForm的异步操作——EntLib PIAB实现

回首征途在上一篇《应用AOP简化WINFORM的异步操作——PostSharp实现》中，实现了通过AOP的方式隔离BackgroundWorker的调用。正如有朋友不倾向PostSharp的编译时代码织入方式，我也没在日常项目中使用过PostSharp。虽然问题可能不大，弃用它也只是重新编译一遍。但最近尝试Enterprise Library PIAB模块来实现相同的功能，还...

2019-08-12 23:53:26 204

转载数据分析方法论1——专题分析

　　一、项目组专题分析有三个特征：　　1、有目标——紧贴项目KPI　　2、有节奏——2~3周时间输出一份完整的报告　　3、有闭环——所有的报告都说人话、做人事。注重好落地性　　二、案例　　项目：今日头条APP新用户留存专项　　项目背景：2015年今日头条APP新用户次留、7留与竞品相比，留存均低5%绝对值，并新用户六十速度要高于竞品，因此要在数据分析基础上，产品...

2019-08-12 23:14:00 569

转载 velocity 时间显示

（一）Velocity前台展现层时间格式化思想：通过前台展现层（Velocity）中的工具（tools）方法来修改。***************具体修改步骤：1、在toolbox.xml配置文件中添加以下代码：<tool> <key>date</key> <scope>application</scope>...

2019-08-12 02:22:46 391

转载 Javascript模式实例 - 观察者模式

首先我们看看观察者的概念观察者模式：定义对象间的一种一对多的依赖关系,当一个对象的状态发生改变时, 所有依赖于它的对象都得到通知并被自动更新。在园里有许多牛人都已经写过这些文章，不过大多的例子都是.NET，今天我要举一个JS的使用实例．有兴趣的朋友可以先了解一下一些牛人的，比如李会军大哥设计模式篇中观察者的那一节http://www.cnblogs.com/Terrylee/archi...

2019-08-11 23:51:38 55

转载 web.config的configSections节点

configSections关联的类型在一个进程内只实例化一次。1、配置文件Web.config<?xml version="1.0" encoding="utf-8" ?> <configuration> <configSections> <section name="flyLogger" typ...

2019-08-10 22:28:36 174

空空如也

空空如也