- 博客(4446)
- 收藏
- 关注
RSS订阅转载 spark教程(一)-入门与安装
spark 简介建议先阅读我的博客大数据基础架构spark 一个通用的计算引擎，专门为大规模数据处理而设计，与 mapreduce 类似，不同的是，mapreduce 把中间结果 写入 hdfs，而 spark 直接写入 内存，这使得它能够实现实时计算。spark 由 scala 语言开发，他能够和 scala 完美结合，同时实现了 java、python、R 等接口。...
2019-10-02 11:54:00
224
转载 yum 安装
yum 安装本来是个很简单的事情，只是网上的教程一般不全，每次装每次都踩坑，必须做个笔记了。具体安装过程请自行百度，一堆异常记录1. 明明按教程一步步安装完了，仍然报错There was a problem importing one of the Python modulesrequired to run yum. The error leading...
2019-10-02 10:10:00
213
转载 gunicorn 介绍与性能分析
阅读此文前建议先阅读我的博客gunicorn 是一个 python wsgi http server，只支持在 unix 系统上运行安装gunicorn 其实是 python 的一个包，安装方法同一般包的安装pip install gunicorn也可 tar 包安装安装完毕可用如下命令检测[root@node bin]# gunic...
2019-09-30 14:15:00
494
转载 后台向前台响应的json数据格式的一些问题
最近在写后台向前台easyUI页面发送数据时遇到的一些报错。首先easyUI内部封装了许多的方法和对象，以至于很多参数都不清楚，需要查询，其次easyUI也是有内置ajax所以从后台响应回来的数据一般是json格式。这样就会遇到一些问题，json格式该怎么处理？json里的数据是什么类型的？下面一一说明。1，首先一般我们会使用jdbc工具类这样返回的是一个ResultSe...
2019-09-28 11:26:00
545
转载 nginx+gunicorn/uwsgi+python web 的前世今生
我们在部署 flask、django 等 python web 框架时，网上最多的教程就是 nginx+gunicorn/uwsgi 的部署方式，那为什么要这么部署呢，本文就来系统地解释这个问题。必备概念WSGI这里必须要知道的一个概念，WSGI，web service gateway interface，网络服务网关接口它不是 web server，也不是 web...
2019-09-27 11:34:00
219
转载 关于分页的一些前后台知识与应用
我们知道前台所显示的数据一般是传过去一些list集合封装的信息，但面对众多的数据自然不可能是一页显示完成，需要我们进行分页处理。这里需要前后台分别对数据和页面就行处理和交互，才能形成良好界面。 先从后台代码说起，首先传到前台的数据不止集合，还需要分页的一些数据参数，所以这里我们选择封装一个PageBean，一般只需5条数据，示情况选择再添加，详细见下...
2019-09-26 21:39:00
102
转载 高效编程之 cProfile 性能分析
写代码经常会听说一些名词，比如 性能分析、代码调优。cProfile 是 python 代码调优的一种工具，它能够统计在整个代码执行过程中，每个函数调用的次数和消耗的时间。这个工具虽然很常用，但是没必要花太多时间研究这个工具，简单使用就能达到效果，所以我这里只简单记录下核心用法。两种使用方式cProfile.run('func(arg)') # 调...
2019-09-26 17:33:00
76
转载 shell with hadoop
shell 命令操作 hadoop 之前多少提及过，这里做个总结。shell with hdfs基本命令bin/hadoop fs 大于下面的命令bin/hdfs dfs dfs 是 fs 的实现类shell 操作 hadoop 就是 上面的命令 加 “-” 再加 linux 命令常用命令sbin/start-dfs.sh...
2019-09-26 16:55:00
153
转载 js手写call函数
Function.prototype.myCall = function (context, ...arr) { if (context === null || context === undefined) { // 指定为 null 和 undefined 的 this 值会自动指向全局对象(浏览器中为window) context = ...
2019-09-26 15:49:00
196
转载 ES6 symbol
symbol是es6新增的基本类型 跟string一级，它的功能类似于一种标识唯一性的ID；symbol可以被typeof识别 类型就为symbol；例子：let s2 = Symbol('another symbol')关注点：同样的字符串或者数字用symbol处理后 ==和===两边是不相等的let s1 = Symbol()let s2 = Sy...
2019-09-26 15:37:00
54
转载 hadoop-组件
hadoop1.x 和 hadoop2.x 区别HDFS分布式存储优点缺点MapReduce分布式计算详见我的博客mapreduceYARN计算资源管理器主要了解两个组件ResourceManager：管理整个集群的计算资源NodeManager：管理单个节点的计算资源转载于:htt...
2019-09-26 15:16:00
105
转载 Nginx教程(一)-全面认知
什么是 nginxnginx 是一款高性能的 http 服务器，反向代理服务器，电子邮件（IMAP/POP3）代理服务器；它的特点就是高性能，占用内存少，支持高并发，运行稳定；官方测试 可支持 5万 的并发量；nginx 的用途nginx 可以用于多种场景，最常用的是反向代理，其他场景也需要反向代理实现http 服务器：nginx 是一个 http 服务器，...
2019-09-25 17:34:00
79
转载 creat-react-app http升级为https出现的问题
npm run eject现将配置文件弄出来config/webpackDevServer.config.js 里面https: true 设置为true 就行了npm start启动项目 发现post的时候node自动断开，并且报错req.handle.writev is not a function这个是因为node版本问题 最新的几个版本会出现此问题我的办法：回退版本：8.11....
2019-09-25 16:06:00
968
转载 Object.prototype.toString.call(obj) 为什么有用以及疑惑点
能检测的方法很多 基本上的疑惑点是如何检测object null array function，能准确的检测出来这几个的都是好方法typeof 0; //number;typeof true; //boolean;typeof undefined; //undefined;typeof "hello world" //string;typeof func...
2019-09-24 14:09:00
77
转载 hadoop-mapreduce 详解
mapreduce 完整流程解析1. 在客户端启动一个 job；hadoop jar share/hadoop/tools/lib/hadoop-streaming-2.6.5.jar -files tmp/example1/mapper.py,tmp/example1/reducer.py -mapper 'python mapper.py' -reducer ...
2019-09-21 15:50:00
153
转载 python with hadoop
python with hdfshdfs 可以在 linux 本地操作bin/hdfs dfs -ls /foo但是这种只能在 命令行 操作。通常我们需要在程序中实现远程操作，python 是可以的。需要用到一个模块 snakebite，目前仅支持 python2snakebite 有两种方式远程操作 hdfs，一种是通过命令行，这里不做介绍，另一种是...
2019-09-20 14:27:00
189
转载 hadoop-集群搭建
由于篇幅较大，废话不多说，直奔主题。hadoop 安装同样可分为 单机模式、伪分布式、完全分布式本文主要介绍完全分布式，环境 centos 6.5，hadoop-2.6.5第一步：配置好 4 台虚拟机或者物理机，具体步骤参考我的其他博客第二步：查看主机名，并修改 【务必记住修改主机名的方法，很多地方要用，不过不同版本方法不同】[...
2019-09-19 10:42:00
355
转载 虚拟机Vmware-网络配置
非主业，只做简单介绍虚拟机安装完毕后，需要进行网络配置。虚拟机有 3 种网络连接方式：仅主机模式 Host-only：仅支持 虚拟机与宿主机之间进行通信，无法连接外网桥接模式 bridge：可连接外网网络地址转换 NAT 模式：可连接外网NAT网络地址转换，network address translate配置逻辑虚拟机创建成...
2019-09-18 09:57:00
83
转载 【漫谈数据仓库】 如何优雅地设计数据分层 ODS DW DM层级
转载http://bigdata.51cto.com/art/201710/554810.htm一、文章主题本文主要讲解数据仓库的一个重要环节：如何设计数据分层!其它关于数据仓库的内容可参考之前的文章。本文对数据分层的讨论适合下面一些场景，超过该范围场景 or 数据仓库经验丰富的大神就不必浪费时间看了。数据建设刚起步，大部分的数据经过粗暴的数据接入后就直接对接业务...
2019-09-18 08:41:00
776
转载 linux 忘记密码
许久没玩虚拟机了，密码忘记了，网上找了个教程，亲测有效，这里做个简单记录1. 右键虚拟机名称 --> 电源 --> 重新启动客户机2. 在如下界面，按 e 键，edit，注意先点击下屏幕使得光标在虚拟机上3. 进入如下界面，继续按 e4. 进入如下界面，方向键选择 kernel 开头的行，继续按 e5. 进入如下界面，在末尾加上 空格 ...
2019-09-17 10:10:00
74
转载 高效编程之 小技巧归纳
本文记录了 Python 编程中各种提速的小技巧，注意只记录小技巧。列表解析 VS 生成器优先选择 生成器time.clock()[i for i in range(10000000)] # 1.04134576438(i for i in range(10000000)) # 0.179256006437pr...
2019-09-16 15:34:00
88
转载 【IT】CRC校验码是怎么回事呢？
1. 为什么会有 CRC 校验码？答：数据有可能被更改，需要确认是否被更改，且不能占用太多字节，于是有了校验码。而对一个字节（8位）一个字节的进行循环计算，从而核对数据是否被更改。2. 修改了一定能被 CRC 校验出来吗？答：不是，而是一定概率可以校验出来。奇偶校验就是属于 CRC 校验一种特例。所以，为了更好的校验，就有了多项式。更优的多...
2019-09-14 02:07:00
114
转载 vue 坑
1.vue项目在IE下报 [vuex] vuex requires a Promise polyfill in this browser问题 因为使用了 ES6 中用来传递异步消息的的Promise，而IE浏览器都不支持。 第一步： 安装 babel-polyfill npm install --save babel-polyfill 第二步： 在 Webp...
2019-09-12 17:26:00
94
转载 kafka 教程(四)-原理进阶
kafka 最初由 Linkedin 公司开发，是一个 分布式、支持分区、多副本的，基于 zookeeper 协调的分布式发布订阅消息系统，该公司在 2010 年将 kafka 贡献给 apache 基金会，1年后升级为顶级项目。kafka 由 scalar 语言编写， 并提供了多种语言的接口。kafka 特性kafka 是一个分布式系统，天然具有分布式的所有优势。...
2019-09-11 16:00:00
87
转载 kafka 教程(三)-远程访问
远程连接 kafka 配置默认的 kafka 配置是无法远程访问的，解决该问题有几个方案。方案1advertised.listeners=PLAINTEXT://IP:9092注意必须是 ip，不能是 hostname方案2advertised.listeners=PLAINTEXT://node0:9092node0 是 hostnam...
2019-09-10 17:25:00
1350
转载 动态WebAPI实现原理
https://blog.yuanpei.me/posts/116795088/转载于:https://www.cnblogs.com/baiqian/p/11493267.html
2019-09-09 18:04:00
1068
转载 线程控制-延时与守护
本文解决线程控制的2个场景1. 线程延时：延迟一定时间，再执行后续程序2. 两个线程，当一个线程执行时间超过规定时间时，执行另一个线程场景1：定时器具体参考 我的博客 后续会写场景2：继承多线程基类DelayAction：重写 run 方法，在 run 中延迟DelayAction2：重写 run 方法，在 run 中延迟，并获取输出...
2019-09-09 11:59:00
130
转载 kafka 教程(一)-初识kafka
消息队列 MQ消息队列就是 消息 message 加 队列 queue，是一种消息传输的容器，提供生产和消费 API 来存储和获取消息。消息队列分两种：点对点（p2p）、发布订阅（pub/sub）相同点：生产的消息存入队列，都从队列中获取消息不同点：p2p 模式是一个消息只能被消费一次，消费之后这个消息就不存在了，比如打电话； 而发布订阅模式是一个消息可以被消费...
2019-09-05 17:43:00
80
转载 Kafka 教程(二)-安装与基础操作
单机安装1. 安装 java2. 安装 zookeeper 【这一步可以没有，因为 kafka 自带了 zookeeper】3. 安装 kafka下载链接kafkakafka 是 scalar 开发的，解压后的版本有两个，第一个是 scalar 版本，第二个是 kafka 版本，注意一定要比较新的版本。解压启动 zookeeper 服务；如果使用 k...
2019-09-05 17:39:00
89
转载 CF1214D Treasure Island
题目链接题目大意 一个n*m的矩阵，Vasya想要从矩阵矩阵的（1,1)(左上角）走到（n,m)(右下角），矩阵中有一些格不能走，一次只能向下或向右。现在你可以使一些格变得不能走来阻止他走到，问最少改变几个格。 (3<=n*m<=1000000)思路 把矩阵按行加列分层，即， ...
2019-09-05 00:30:00
101
转载 ZooKeeper-安装
下载下载地址zookeeper，建议下载 bin 结尾的tar包。在 readme.md 中可以看到apache-zookeeper-[version].tar.gz Contains all the source files which can be built by running: mvn clean install...
2019-09-04 19:33:00
48
转载 C++深拷贝和浅拷贝细节理解
前提在对象拷贝过程中，如果没有自定义拷贝构造函数，编译器会提供一个缺省的拷贝构造函数，缺省的拷贝构造函数对于基本类型的成员变量，按字节复制，对于类类型的成员变量则调用其相应的拷贝构造函数。资料注解在《高质量的C C++编程》第9章有这样一段话如下，类似的描述在《C++ primer》和《effective C++》都有提及，就是拷贝构造函数的问题，这是OO编程必须注意的一个问...
2019-09-03 21:25:00
81
转载 PostgreSQL-UNION与Order by 冲突
问题描述union 连接的两个sql 都包含 orderSELECT <property1>, <property2>FROM <table1> ORDER BY <condition> LIMIT 1UNION ALLSELECT <property1>, <property2>F...
2019-09-03 16:10:00
411
转载 tf-图像预处理
tensorflow 中自带了很多图像处理的方法，基本都在 tf.image 模块中，虽然不如 opencv 强大，但也比较常用，这里做个记录。图像编解码1. 用 tf 的方法读取图片后，都需要进行编解码，才能在 tf 中继续处理；2. tf 提供了各种类型图像的编解码：decode_gif，decode_png，decode_jepg，decode_image，enc...
2019-09-03 09:40:00
409
转载 PostgreSQL-优化之分表
分表概述数据库分表，就是把一张表分成多张表，物理上虽然分开了，逻辑上彼此仍有联系。分表有两种方式：水平分表，即按列分开；垂直分表，即按行分开优势1. 查询速度大幅提升2. 删除数据速度更快3. 可以将使用率低的数据通过表空间技术转移到低成本的存储介质上场景官方建议：当数据表大小超过数据库服务器内存时应该使用分表。两种分表方式大致相同，下面以垂直分...
2019-09-02 14:38:00
69
转载 sqlyog 下载
https://www.cnblogs.com/givemelove/p/7777975.html转载于:https://www.cnblogs.com/baiqian/p/11440168.html
2019-08-31 19:38:00
584
转载 PostgreSQL-事务与commit优化
基本概念事务 Transaction 是 数据库管理系统DBMS 执行过程中的一个逻辑单元，是一个 sql命令组成的序列。其特点在于，当事务被提交DBMS后，DBMS需要确保所有的操作被完成；如果事务中有的操作没有成功完成，那么所有操作都将回滚，回滚到事务提交之前的状态属性事务具有以下四个标准属性原子性：事务作为一个整体被执行，相当于一个原子一致性：确保修改...
2019-08-29 15:29:00
572
转载 云风协程库coroutine源码分析
前言前段时间研读云风的coroutine库，为了加深印象，做个简单的笔记。不愧是大神，云风只用200行的C代码就实现了一个最简单的协程，代码风格精简，非常适合用来理解协程和用来提升编码能力。协程简介协程是用同步的写法达到异步的性能。其基本原理是在IO等待时切换出去，在适当的时刻切换回来，最大程度利用CPU。协程可以理解为一个用户级的线程，一个线程里跑多个协程。并且，不管协程数...
2019-08-28 18:33:00
177
转载 PostgreSQL-pg_ctl
命令简介pg_ctl 启动、关闭、重启 postgrespg_ctlstart [-w] [-s] [-Ddatadir] [-lfilename] [-ooptions] [-ppath]pg_ctlstop [-W] [-s] [-Ddatadir] [-m s[mart] | f[ast] | i[mmediate] ]pg_ctlrestart...
2019-08-28 11:06:00
430
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人