自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(113)
  • 收藏
  • 关注

原创 如何用elasticsearch构架亿级数据采集系统(第1集:elasticsearch概述)

elasticsearch 是一个全文搜索引擎,近年来随着 ELK(基于elasticsearch 的日志分析系统)的流行,逐渐被大家所认可。elasticsearch 是一个基于Lucene 的搜索服务器。Lucene 是一个很出名的底层的搜索接口,但是Lucene的使用难度很高,elasticsearch对Lucene进行了一次封装,使得它对我们开发者更友好。(一)为什么需要 elasticsearch希望搜索解决方案要高效;希望零配置和完全免费的搜索方案;希望能够简单的通过 json 和.

2020-11-26 15:46:08 10

原创 Python 数据爬虫 windows 服务器部署(工作笔记)

(一)python 环境部署与配置官网下载 python 安装包,选择了3.6.7的离线安装包,根据系统位数下载。在 windows 服务器上,点击右键“以管理员身份运行”,不以管理员身份运行可能会出现系统禁止安装的阻止。勾选Add Python 3.6 to PATH ,用来快速的配置环境变量。(二)python 脚本虚拟环境部署安装virtualenvpip install virtualenv创建虚拟环境cd wwwcd Scriptsactivate.bat(

2020-08-16 23:13:29 61

原创 分布式单点登录系统的实现系列分享之:底层逻辑篇
原力计划

01 SSO 概述单点登录就是从一个位置登录就可以直接访问其他互信的系统。当我从系统一执行的登录操作,当我们在执行系统二和系统三的时候,我们就不用再次执行登录操作,也就是避免了用户重复登录的过程。所以单点登录系统是核心业务系统起到辅助的作用。它是在整个系统群中,起到集成的辅助的作用。1.SSO 体系结构单点登录系统都包含哪些组成部分,每一部分都起到什么样的作用?当用户对业务系统发起请求的时候,我们会把用户请求拦截下来,要进行授权验证,我们要检查当前用户是否有访问业务系统的权限,如果有权限我

2020-05-26 20:25:31 226

原创 HDFS 分布式文件系统架构原理

01 HDFS 系统架构原理1. 定义HDFS(Hadoop Distributed File System)是 Hadoop 项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。HDFS 源于 Google 在 2003年 10月份发表的 GFS(Google File System)论文。它其实就是 GFS ...

2020-05-04 00:40:27 283

原创 Zookeeper 安装配置(大数据工程师工作笔记)

Zookeeper 是由 Java 编写,运行在 JVM ,所以需要提前安装 JDK 运行环境;01 JDK 安装1. 下载 JDK可以到官网下载对应版本的 jdk,这里选择安装 jdk1.8 版本,并上传至 /home/hadoop/app 目录下2. 解压 JDK通过 tar-zxvf 命令对 jdk 安装包进行解压即可3. 创建软连接...

2020-05-03 20:27:15 419

原创 一篇文章学会 SVN

为什么不用 Git 用 SVN?选择哪一个呢一句话:团队用什么,就选什么01 简单说说 SVN1.SVN 是什么?代码版本管理工具它能记住你每次的修改查看素有的修改记录恢复到任何历史版本恢复已经删除的文件2.SVN 跟 Git 比,有什么优势目录级权限控制,企业安全必备(Git 没有)子目录Checkout,减少不必要的文件检出 (Git 只能把整个仓库都 Chec...

2020-04-28 17:37:08 817

原创 Zookeepr分布式协调服务之基础铺垫(大数据工程师工作笔记)
原力计划

01 Zookeeper 架构原理1. 定义ZooKeeper 在很多大企业里,已经证明了非常的稳定。ZooKeeper 是一种分布式应用所设计的高可用、高性能且一致的开源协调服务。它首先提供了分布式锁服务。它的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。由于 ZooKeeper 是开源的,后来者在分布式锁的基础上又提供了配置维护、组服务...

2020-04-27 00:49:21 308

原创 大数据工程师工作笔记之集群节点准备(补充)

在我前面的博文: 大数据工程师工作笔记之集群节点准备 中,需要补充几个知识点,补充1:Linux 主机名配置Centos6sudo vi /etc/sysconfig/networkCentos7hostnamectl set-hostname 主机名注意:修改完之后主机名不会立即显示更改,需要输入 reboot 命令重启 linux 操作系统。补充2:节点2所有配置...

2020-04-26 15:36:59 228

原创 大数据工程师工作笔记之集群节点准备
原力计划

(一)Linux 系统网络配置在公司中,一般来说,大数据集群是不能上网的,这就需要一个跳板机,将需要的组件传到大数据集群中离线安装就可以了。用 ip addr (centos7)命令来查看网络接口配置信息,此时只能查到回环地址 127.0.0.1 和 子网掩码 255.0.0.0;ping 127.0.0.1(127.0.0.1 是本地回环地址,测试本机的网络配置,能 ping 通 1...

2020-04-22 13:56:38 465 1

原创 编程语言下载和安装中隐藏的三大秘密

问题一:程序员用 IDE 开发程序,而不是用操作系统开发程序。问题二:java初学者需不需要立马学习使用ide?开发环境:开发环境是相对生成环境来说的,开发环境就是程序员在自己的工作电脑上面开发软件,然后可以测试软件的一个环境,就好比搞研究,我在开发环境下可以随便搞,只要自己能控制就好生存环境就是说你的软件已经上线了,供给其他用户使用了,你不能随便乱搞;架构:这个就好比建筑楼房的一...

2020-03-15 23:40:00 198

原创 Java与Python学习通法(3)和(4)Java 和Python 语言发展史

本小节 jacky 跟朋友分享的是 Java 语言发展史,jacky 建议大家一定要观看完前面的逻辑课后,再来观看本小节。逻辑课,jacky说了,编程语言发展史要告诉我们的就是两个字:版本。那我们就来看下Java的版本到底有多少个呢?在讲Java的版本有多少个之前呢,jacky说,编程语言也是软件,每隔几年就会有一个版本更新;就跟我们微信和抖音一样,每隔一段时间就会有一个信息版本出来。那我们看...

2020-02-13 00:45:19 197

原创 Java与Python学习通法(1)和(2)序言和编程语言发展史怎么学

dd

2020-02-09 19:06:56 4824 1

原创 信息流产品和内容推荐算法

(一)什么是信息流产品当下,信息流(资讯)和短视频是唯一两个在用户领域保持好的增长事态的细分行业。像其他比较成熟的互联网细分行业,比如说移动社交,电商,OTO这个细分行业,用户已经饱和了,用户增长比较缓慢,而短视频以及信息流是一个很迅猛的用户增长的势头。信息流产品是一个非常好的用作商业变现的产品形态。1. 信息流产品的特点信息流产品在合适的场景下,为用户提供合适的内容适合手机屏幕...

2019-12-04 17:56:41 1139

原创 从企业实操的角度谈深度学习(图像方向)的底层逻辑之概念普及

现在像深度学习,人工智能这样的词非常的火热,说先要说的是无论是深度学习还是人工智能,都是非常实验性的领域,我们在书上,在学术论文上看到的理论,都可能被推翻,所以今天分享的都是现在这个阶段人类的共识。我们给计算机看一个图像,想让计算机告诉我这个图像到底是什么?(一)几个数据的概念和几个方差的概念1. MINIST 数据集收集了很多人手写的1、2、3、4、5、6、7、8、9;然后我们给...

2019-11-27 11:13:43 1312

原创 Python深度学习企业实战之TensorFlow的底层原理及安装

TensorFlow 的底层原理TensorFlow 是一个用于训练深度学习模型的强大开源软件库,由 Google Brain 小组推出。基本原理是定义一个用来计算的图(可以简称为计算图),然后 TensorFlow 就会使用这个图进行运算,最后输出运算结果。尽管 TensorFlow 使用的是 Python 语言,但底层使用 C++语言开发,Python 只是做了一层接口而已。Ten...

2019-11-17 17:47:44 417

原创 深入浅出:机器学习与人工智能代码的实现(1)

01 机器学习导论机器学习是一帮计算机科学家想让计算机像人一样思考所研发出来的计算机理论。他们曾经说过,人和计算机其实没有差别,同样都是一大批互相连接的信息传递和存储元素所组成的系统,所有有了这样的想法,加上他们得天独厚的数学功底,机器学习的前身也就孕育而生了。机器学习的萌芽诞生于19世界60年代,20年前开始逐渐兴起,它是一门跨学科的交融,这里面包含了概率论、统计学等等学科。随着计算机硬件的提...

2019-11-15 12:38:20 1089

原创 深刻理解:无人机数据系统应用

说在前面的话朋友们,好:这次 jacky 分享一个工作中的经验和体会,希望能给需要的朋友提供一点帮助。我一直认为,数据只有结合行业才能体现它的价值;数据服务也只有结合行业才能赢得客户。为了服务一些无人机行业的客户,为其构建数据采集系统。在知识体系上,我从无人机的本科教材看到了博士教材,国内外技术的论文也是看的无数。参加了大大小小的无机人科技论坛,与超过10个以上的行业从业老板沟通,历经 1 ...

2019-10-27 22:52:15 511

原创 软件(程序)编写通法

软件(程序)是怎样编写出来的1. 问题定义做软件的第一步,就是要弄明白,要解决的问题是什么,这就要求我们要定义问题,但在我们实际的商业项目里面,问题定义是非常困难的,你会发现同一个概念,同一个术语,不同的人会有不同的理解。要形成共识,并不是那么简单,定义清楚问题是一件很困难的事情。2. 分析问题与设计算法所有的需要计算机解决的问题,通常都有要处理的原始数据,所以我们要对问题进行分析就要分析...

2019-10-24 18:51:25 3150 6

原创 我来告诉你,学 Python 为什么找不到工作

粗略的算一下,我玩票吹n*做自媒体这几年,也有十万多粉丝了。这其中数据分析和数据挖掘引流过来的占7成,Python 引流过来的占3成;我一个搞数据挖掘的,搞 java 的,偏偏是Python 的粉丝最多,为什么?因为Python火啊,各种渠道都告诉你们学 Python,年入30万,年入50万。我自己也算是 IT 圈的人,可能也认识一些所谓的大佬。我想告诉一些想学Python的朋友一个实际的情况是:...

2019-08-01 17:47:54 929 6

原创 Python 智能银行卡识别系统的实现 (2)—系统的实现

# -*- coding: utf-8 -*-# Form implementation generated from reading ui file 'ocr.ui'## Created by: PyQt5 UI code generator 5.11.3## WARNING! All changes made in this file will be lost!from PyQt...

2019-07-19 15:46:30 2514 11

原创 Python 智能银行卡识别系统的实现 (1)— PyQt5实现登陆功能

jacky 的一贯理念,学东西不要学表面,而要学本质。技术之上,永远都是哲学。(一)PyQt5 的演变史要说清楚 PyQt5 是什么,我们要先简要说说 Qt 是什么1. Qt 是什么先抽象的说 Qt 是什么?Qt 是跨平台 C++ 图形用户界面应用程序开发框架,Qt 可以同时支持桌面应用程序开发、嵌入式开发和移动开发,覆盖了现在所有的主流平台。1991年由挪威奇趣科技开发;这个挪...

2019-06-24 17:56:10 1215 2

原创 Python面向对象三大特征之多态

面向对象最后一个特征:多态多态:不同的子类对象调用相同的父类方法,产生不同的执行结果多态可以增加代码的灵活度以 继承 和 重写父类方法为前提是调用方法的技巧,不会影响到类的内部设计class Dog(object): def __init__(self,name): self.name = name def game(self): ...

2019-05-26 15:11:20 378

原创 Python面向对象三大特征之继承

继承实现代码的重用,相同的代码不需要重复的编写01 单继承1.1 继承的概念、语法和特点继承的概念:子类拥有父类的所有方法和属性1)继承的语法class 类名(父类名): pass子类继承父类,可以直接享受父类中已经封装好的方法,不需要再次开发子类中应该根据职责,封装子类特有的属性和方法2)继承的传递性C类从B类继承,B类又从A类继承那么C类就具有B类...

2019-05-24 17:34:38 220

原创 Java 数据分析之java的安装与初识

(一)1. jdk 安装到oracle官网,下载 相应版本的Java SE2. 验证安装进入安装目录

2019-04-09 17:06:53 202

原创 Ruby on Rails框架(4)-Rails 资源

前面我们说过,资源作为一种用户可访问的信息,是restful应用程序的核心概念,并且我们能够使用标准化的 url 地址来访问我们应用开发的资源。那这些概念,到底在我们 Rails 框架中是怎么应用和实现的呢?前面我们说 MVC 架构的时候,我们说了使用 generate 创建控制器的相关方法,前面我们给控制器的命名是比较随意的,我们说我们增加某种功能的时候,我们就去创建一个控制器响应请求,...

2019-03-23 23:12:47 231

原创 SQL 数据分析

但是我想说我们尽量不要使用case when,DATEDIFF等复杂的函数。因为数据库特别是mysql,虽然提供了这些方法,但是如果访问量特别的大,数据内容特别的多,很容易造成速度变慢,甚至数据库的崩溃。如果只是公司内部用,访问量不大,还是没关系的。越大型的项目越不要用这些复杂的sql语句,尽量将所有数据都查出来,在代码中进行处理。...

2019-03-02 22:39:01 2380

原创 Python面向对象三大特征之封装

面向对象编程 - - Object Oriented Programming 简写OOP01 深入浅出:面向过程和面向对象1.1 一个类比

2019-02-02 13:35:16 247

原创 如何从0到1,构建企业大数据平台

(一)企业大数据战略概述我们只要分享一些基础的概念,让大家明白什么是大数据,大数据有哪4个特征,作为企业战略的实施者或执行者,我们要具备6大战略,概括起来就是4V特征,6大战略;1.1 关于大数据的历史在大数据这个词出现之前,我们对日常数据的这种处理和分析,常常使用的一些类似SQL server、 MySQL、Oracle等等这些关系数据库,传统的这些数据库处理T级别数据量已经是这...

2019-01-23 20:59:57 1028

原创 函数第三部分:局部变量和全局变量-Python基础前传(12)

局部变量什么是局部变量局部变量是只能在函数里面用,出去就不能用了,请看下面的例子:def func1(): a = 123 print(a)这里的变量a就是局部变量,这个局部变量只能在当前的函数体里来用,在其他的地方就用不了了;正因为它是局部变量,所以下面的代码一定是没有输出结果的:def func1(): a = 123 print(a) print(a)...

2019-01-13 00:42:25 178

原创 Ruby on Rails框架(3)-RESTful应用程序

前面,我们通过使用rails框架的相关命令,创建了一个标准的rails控制器,并且通过简单的路由配置信息和视图配置信息,在网站的首页上显示了一条简单的消息,让大家了解了rails框架中MVC设计模式的基本使用方式和基本工作流程,但相信在看过上次分享之后,但是有人可以还会有一些疑惑,比如说MVC设计模式中反复中反复提到的请求,它本质上到底是什么东西呢?为什么rails框架能够接受并且识别一个请求的...

2019-01-07 16:58:04 671

原创 Ruby on Rails框架(2)-MVC思想

前面,我们使用rails框架成功的创建了一个web应用程序,并显示了rails框架默认的欢迎方式,但欢迎页面是做不了任何事情的,因为它是一个静态的,默认的页面;如果我们想添加自定义的功能,就必须要写入代码,但是我们在添加自定义功能之前,一定要搞懂一个在应用程序开发中非常非常重要,同时也是贯穿于rails开发框架始终的一种应用架构,叫做MVC设计模式,如果你长时间工作在产品开发的一线,那么你对M...

2018-12-16 22:25:04 539

原创 Ruby on Rails框架(1)-安装全攻略

序关于Rails的三句箴言(1)DRY:Don’t Repeat Yourself(不要重复你自己)rails的开发理念,不要用你的代码不停的重复,rails框架给开发者提供了一套非常完善的支持,让你在很多地方,只需要短短几行代码,就能实现非常强大的功能;(2)约定大于配置(约定优先原则)Convention Over Configurationrails框架并不会出现...

2018-12-04 17:49:29 232

原创 Django基础(2)-如何安装特定版本的Django项目

Django1.0版本和2.0版本的差异较大,这里jacky更常用的Django的1.9.8的版本,本小节jacky将给大家分享如何用Pycharm创建1.9.8版本的项目(一)使用Pycharm配置django这里我们必须安装Pycharm的专业版,具体如何安装大家自行百度第1步:找到上次课我们安装的python虚拟环境路径,不了解的参见上一次分享第2步:选择虚拟环境的...

2018-11-29 17:30:59 595

原创 Django基础(1)-虚拟环境的安装及配置

virtualenv介绍(1)做什么的?virtualenv是用于创建独立的python环境,使得多个python应用彼此独立;(2)优点:a)使不同应用开发环境独立b)环境升级不影响其他应用,也不会影响全局的python环境当我们升级我们某一个库的时候,就不会影响到其他应用;c)它可以防止系统中出现包管理混乱和版本的冲突;python的包管理是用pip来进行安...

2018-11-26 17:59:50 204

原创 百度地图开源代码使用

(一)概述百度地图开发者平台提供的六大功能定位 :解决你在哪里的问题地图:展示高清地图出行:导航定位轨迹:鹰眼轨迹平台为我们提供实时的位置信息数据:提供海量的搜索数据分析:挖掘客流分布,建筑物分布等等(二)百度地图定位GPS + WIFI + 基站2.1 GPS定位GPS定位:是美国军方提供的全球定位系统北斗:中国研发...

2018-11-20 17:58:19 968

原创 金融风控数据建模导论

(一)序言(二)序言金融风控具体在哪个环节才需要数据建模贷前审核贷后管理反欺诈1.2 金融机构信贷风控流程介绍(1)客户申请没啥可说的(2)资料填写具体个人信息填写错误,金融机构会要求客户重新填写,如何联系客户资料填写错误,会要求冻结几天才能重新申请(3)要素验证根据客户的资料填写,做三要素或做四要素验证,比如说客户的手机号、银...

2018-11-09 14:35:16 1208

原创 如何用elasticsearch构架亿级数据采集系统(第2集:非生产环境windows安装篇)

(一)做啥的?基于Elasticsearch,可以为实现,大数据量(亿级)的实时统计查询的方案设计,提供底层数据框架。(二)Elasticsearch的安装2.1 版本选择:elasticsearch-rtf第1步:安装java验证java是否安装成功:这里java要兼容elasticsearch,必须安装java8以上的版本第2步:下载elasticsearc...

2018-10-31 09:08:52 244

原创 部署Django到云服务器(centos+nginx+mysql+uwsgi+python3)【操作篇(2)】

接上篇操作篇(1):https://blog.csdn.net/jacky_zhuyuanlu/article/details/82880612(七)创建Django项目建立文件夹,存放网站mkdir -p /data/wwwroot给uwsgi建立软链接,方便使用ln -s /usr/local/python3/bin/uwsgi /usr/bin/uwsgi切换到...

2018-10-24 17:56:00 457

原创 生产环境网站运营

(1)互联网数据变现的途径(2)服务器(阿里云ECS,百度云)服务器配置选型(阿里云ECS)域名购买(阿里云)空间备案详细流程(3)Linux下Python3环境架构linux 服务器中LNMP环境构架公司有多个网站,我们用域名怎么对接,虚拟主机怎么架设(4)Linux下多域名虚拟主机设计域名解析Linux中Nginx虚拟主机配置...

2018-09-30 16:17:58 476

原创 部署Django到云服务器(centos+nginx+mysql+uwsgi+python3)【操作篇(1)】

(一)购买一个云服务器我们要用Python的Django框架来部署我们的网站,那首先就需要我们购买一个云服务器,怎么买呢,可以买阿里云的,百度云的,或是联系jacky(公众号:数据分析部落)给你一个免费15天的云服务器,可以先体验一下注意:这里要买的是云服务器,不是云虚拟主机购买成功后,记住IP号,和云服务器名,还有我们的密码;(二)用xshell 连接到我们的云服务器...

2018-09-28 12:32:38 1198 1

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除