- 博客(78)
- 收藏
- 关注
RSS订阅转载 Spark2.x（六十二）：（Spark2.4）共享变量 - Broadcast原理分析
之前对Broadcast有分析，但是不够深入《Spark2.3（四十三）：Spark Broadcast总结》，本章对其实现过程以及原理进行分析。带着以下几个问题去写本篇文章：1）driver端如何实现broadcast的装备，是否会把broadcast数据发送给executor端？2）executor如何获取到broadcast数据？导入Spark一个非常重要的特征...
2019-08-31 18:07:00
232
转载 爬虫六之爬取猫眼电影top100
该爬虫比较简单，代码放在github上https://github.com/GhostSteven/Crawler/tree/master/maoyantop100转载于:https://www.cnblogs.com/guiguiguoguo/p/11437156.html
2019-08-30 21:11:00
142
转载 css清除浮动
给父元素添加这个类就能解决父元素没有高度的问题，.clearfix::after { clear:both; content:''; display:block; width: 0; height: 0; ...
2019-08-30 15:25:00
58
转载 Python中调用c语言
Python中有时需要调用c程序中的函数。使用ctype库可以很方便地调用c语言。现说明方法，以及注意事项。c程序编译为.so文件：我们需要的c语言文件为test.c，要从其中调用func(x,y)函数。gcc -fPIC -shared test.c -o test.so导入该文件随后，我们在python中导入该test.so文件，方法如下：import osfrom...
2019-08-29 19:30:00
65
转载 Java-JUC（十五）：synchronized执行流程分析
一、锁对象及 synchronized 的使用synchronized 通过互斥锁（Mutex Lock）来实现，同一时刻，只有获得锁的线程才可以执行锁内的代码。锁对象分为两种：实例对象（一个类有多个）和 Class 对象（一个类只有一个）。不同锁对象之间的代码执行互不干扰，同一个类中加锁方法与不加锁方法执行互不干扰。使用 synchronized 有以下种方式：...
2019-08-28 17:57:00
102
转载 Spark2.x（六十一）：在Spark2.4 Structured Streaming中Dataset是如何执行加载数据源的？...
本章主要讨论，在Spark2.4 Structured Streaming读取kafka数据源时，kafka的topic数据是如何被执行的过程进行分析。以下边例子展开分析： SparkSession sparkSession = SparkSession.builder().getOrCreate(); Dataset<Row> ...
2019-08-27 23:02:00
159
转载 Spark2.x（六十）：在Structured Streaming流处理中是如何查找kafka的DataSourceProvider?
本章节根据源代码分析Spark Structured Streaming(Spark2.4)在进行DataSourceProvider查找的流程，首先，我们看下读取流数据源kafka的代码： SparkSession sparkSession = SparkSession.builder().getOrCreate(); Dataset<Ro...
2019-08-27 22:31:00
444
转载 使用nginx 做kbmmw REST 服务的负载均衡
我们一般在云上部署REST服务。既想利用kbmmw 的方便性，又想保证系统的安全性，同时想通过负载均衡保证服务器的健壮性。下面我们使用ubuntu+nginx 来实现以下kbmmw rest 服务器的负载均衡。首先在ubuntu上安装nginx 服务器。为了方便直接使用，我们直接使用apt 安装sudo apt-get install nginx安装完毕后，就会自...
2019-08-26 22:59:00
297
转载 搜索公众号文章网址
搜索公众号文章网址：https://weixin.sogou.com/搜索活动文章网址：https://www.huodongxing.com/转载于:https://www.cnblogs.com/Hajar/p/11412718.html
2019-08-26 15:19:00
477
转载 利用python求非线性方程
最近在做的东西中有一件任务，相当于一个函数已知y来求x，网上找了各种办法最终得以实现。在此说明方法，并记录一些坑。要求的函数比如：log(x) - log(1-x) + 2.2 * (1 -2x) 最好用的方法，利用Scipy.optimize中的fsolve函数。在该方法中，我们可以调用scipy.optimize.fsolve来求解非线性方程（组），具体方法如下：from s...
2019-08-25 21:02:00
2103
转载 Devops（四）：Docker 镜像管理
参考《Docker中上传镜像到docker hub中》《Docker 镜像管理》《通过容器提交镜像（docker commit）以及推送镜像（docker push）笔记》《和我一步步部署 kubernetes 集群》（推荐，完整的K8s集群搭建文章）《Kubernetes之kubectl命令行工具简介、安装配置及常用命令》kubectl是Kubernet...
2019-08-24 15:08:00
151
转载 Devops（三）：Docker常用命令
列出镜像列表（docker images）[root@master docker]# docker imagesREPOSITORY TAG IMAGE ID CREATED SIZEhello-world latest fce289e...
2019-08-23 23:36:00
150
转载 idea打开eclipse项目并部署至tomcat
前言：因为遇到了用idea打开eclipse项目并配置外置tomact的场景，经过实验也成功了，所以特地来记录一下。导入eclipse项目这里我们导入的eclipse下开发的maven项目，直接点击下图的选项后选择项目中的pom文件，为什么这么选择呢，为了防止导包导不进来所以就直接选择pom，反正我是一直这么来做的，还没有出现什么问题，打开后静待导包就行了。配置jdk打war...
2019-08-23 11:01:00
348
转载 CMD命令大全
cmd命令大全（第一部分） winver---------检查Windows版本 wmimgmt.msc----打开windows管理体系结构(WMI) wupdmgr--------windows更新程序 wscript--------windows脚本宿主设置 write----------写字板 winmsd---------系统信息 wiaacm...
2019-08-22 12:24:00
65
转载 Devops（二）：CentOS7（在线）安装Docker
安装环境：Centos7.5从 2017 年 3 月开始 docker 在原来的基础上分为两个分支版本: Docker CE 和 Docker EE。1）Docker CE 即社区免费版2）Docker EE 即企业版，强调安全，但需付费使用。本文介绍 Docker CE 的安装使用。1）移除旧的版本查询当前的Docker版本$ docker -v如果存在...
2019-08-21 23:36:00
590
转载 MIMO技术原理、概念、现状简介
http://hi.baidu.com/hieda/blog/item/4ea7f01315b83cd4f7039e94.html多入多出(MIMO，Multiple-Input Multiple-Out-put)或多发多收天线(MTMRA，Multiple Transmit Multiple Receive Antenna)技术是无线移动通信领域智能天线技术的重...
2019-08-21 05:36:28
12104
转载 Sony VAIO Duo11真机体验[多图]
非常高兴拿到了这款Duo11的触控Win8超极本。哈，废话不多说，先上图： 这款超级本是类似于平板的，除了主机之外，还有一支触控笔（支持1024级压感），一个降噪耳机，一个小的电源模块。 整机重量大约1.3Kg，所以如果按照平板的要求来说，它还是显得重了。 屏幕中间的上部就是前置的摄像头了，它具有1920*1080的分辨率，一般的视频通话需求足以满足了。再上方就是一条突出的...
2019-08-20 23:34:07
177
转载 模板类
#include<iostream>#include<algorithm>sortusing namespace std;template<class ElemType>class Array{ private: ElemType *elem;...
2019-08-20 13:38:54
78
转载 正则表达式学习
用到的正则表达式1、 visual studio和visual studio code中的空白行：^\s*(?=\r?$)\n^：匹配字符串的开始位置； \s*：匹配0个以上的空白字符，包括空格、制表符、换页符等等；(?=\r?$)：匹配以回车符结束（应该是匹配windows中的换行（\r\n））和不以回车符结束的字符串（应该是匹配类unix中的换行（\n）），\r匹配...
2019-08-20 10:33:00
60
转载 浏览器 User-Agent 大全
转载来自https://blog.csdn.net/u012195214/article/details/78889602一、基础知识Http Header之User-AgentUser Agent中文名为用户代理，是Http协议中的一部分，属于头域的组成部分，User Agent也简称UA。它是一个特殊字符串头，是一种向访问网站提供你所使用的浏览器类型及版本、操作系统...
2019-08-20 09:43:00
486
转载 PreparedStatement
该PreparedStatement接口继承Statement，并与之在两方面有所不同： PreparedStatement 实例包含已编译的 SQL 语句。这就是使语句“准备好”。包含于 PreparedStatement 对象中的 SQL 语句可具有一个或多个 IN 参数。IN参数的值在 SQL 语句创建时未被指定。相反的，该语句为每个 IN 参数保留一个问号（“？”）作为占位...
2019-08-20 07:09:03
111
转载 编译Assimp傻瓜教程
assimp的编译过程和搭建OpenGL环境时glfw的编译基本相同，建议先阅读环境搭建下载源码这里使用的是3.3.1版本，Github下载assimp源码解压完你会得到接下来我们要编译这些源码为什么要在自己机器上编译？因为从源代码编译库可以保证生成的库是兼容你的操作系统和CPU的，而预编译的二进制文件可能会出现兼容问题（甚至有时候没提供支持你系统的文件）但是提供源代码所...
2019-08-18 23:22:00
885
转载 OpenGL光照3：光源
本文是个人学习记录，学习建议看教程 https://learnopengl-cn.github.io/非常感谢原作者JoeyDeVries和多为中文翻译者提供的优质教程的内容为插入注释，可以先跳过投光物(光源)我们目前使用的光照都来自于空间中的一个点，它能给我们不错的效果，但现实世界中，我们有很多种类的光照，每种的表现都不同将光投射(Cast)到物体的光源叫做投光物(Lig...
2019-08-17 13:09:00
164
转载 OpenGL光照2：材质和光照贴图
本文是个人学习记录，学习建议看教程 https://learnopengl-cn.github.io/非常感谢原作者JoeyDeVries和多为中文翻译者提供的优质教程的内容为插入注释，可以先跳过材质在现实世界里，每个物体会对光产生不同的反应，钢看起来通常会比陶瓷花瓶更闪闪发光，木头箱子也不会像钢制箱子那样对光产生很强的反射每个物体对镜面高光也有不同的反应，有些物体反射光的...
2019-08-16 18:55:00
342
转载 微信小程序的介绍
一、课程特色1.一边做实战项目，一边学习小程序基础知识（1）文件路径（2）页面生命周期（3）常用组件（4）api 使用方式2.演讲式讲解，不只教你 "这样做" ，还讲解关键是为什么例如：template（1）更好的封装 ui 和业务逻辑（2）增加复用性（3）加深理解3.循序渐进的学习，从简单到复杂，从本地数据到网络数据二、微信小程序的...
2019-08-16 17:24:00
70
转载 取余运算
目录 关于取余运算 关于取余运算两个数 n d 进行取余,记为: n % d (d !== 0).对于结果 r 的正负性,可以规定为，与 n 的符号一致.见下面的mod函数.console.log('-12%5:',-12%5);console.log('12%-5:',12%-5);con...
2019-08-16 01:36:12
1981
转载 OpenGL光照1：颜色和基础光照
本文是个人学习记录，学习建议看教程 https://learnopengl-cn.github.io/非常感谢原作者JoeyDeVries和多为中文翻译者提供的优质教程的内容为插入注释，可以先跳过前言我们简要提到过该如何在OpenGL中使用颜色(Color)，但是我们至今所接触到的都是很浅层的知识，现在我们要更深入地讨论什么是颜色，并且还会为学习光照(Lighting)创建一...
2019-08-15 21:31:00
271
转载 用css设置a标签无效，让链接跳转失效
这个代码有个坑，就是如果a标签里面放了一个图片，然后给a标签设置这个样式，这个时候是不起效果的，只能在a标签外面包一个div，然后给div设置这个样式pointer-events:none;这个是 css3 的代码，这句代码可以把onlick事件去掉，相当于变为普通文本转载于:https://www.cnblogs.com/Hajar/p/11360433.html...
2019-08-15 20:41:00
487
转载 全球百大网站排行榜6月榜出炉
全球百大网站排行榜2019年6月榜出炉了，根据SimilarWeb的数据，全球百大网站的用户流量爆炸性增长依旧在持续，想要挤进这全球百大网站名单，你的网站至少需要在单个月内实现约3.5亿次的访问量。以下是Top 100 Websites Global June 2019排行榜以下为前十大网站：#1谷歌 美国#2 Youtube 美国#3 Facebook 美国#4 百度 中国...
2019-08-15 10:05:00
1492
转载 大一必备清单以及报道流程（欢迎补充）
大一清单一.必备纸质材料（非常重要）1.录取通知书2.高考准考证3.党团组织关系证明4.个人身份证正反面复印件（开学办理入学时可能要用到，提前备好，避免当场打印时拥挤）5.户口迁移证（转户口的同学需要、户口不转进学校的同学无此迁移卡）、户口本复印件（户主页、父母页和个人页都要携带，因为开学如果申请补助，需要这些材料。也可以到当地派出所重新拉出一...
2019-08-15 01:21:00
181
转载 vue引入swiper
第一步，在控制台下载依赖包，下载成功后，会在package.json 文件中多出一个 "swiper": "^3.4.2", package.json 文件在根目录下cnpm i swiper@3.4.2 -S第二步，在 main.js 引入css文件，main.js 文件在 src 目录下import 'swiper/dist/css/swiper.css';...
2019-08-14 10:50:00
80
转载 jQuery遍历(3)
上期我们讲了遍历的祖先、后代和同胞的问题，现在我们讲讲遍历遍历过滤 三个最基本的过滤方法是：first(), last() 和 eq()，它们允许您基于其在一组元素中的位置来选择一个特定的元素。其他过滤方法，比如 filter() 和 not() 允许您选取匹配或不匹配某项指定标准的元素。 jQuery first() 方法 first() 方法返回被选元素的首个...
2019-08-14 08:01:00
48
转载 16订阅者方法超时的处理
订阅者方法超时会让客户端程序出现某种程度的中断。 模拟考试，比较现实的状况是谁先答完，谁先交试卷，不可能按学生序号来决定交试卷顺序。 先模拟一个订阅者方法超时□ 老师的职责是组织考试，并让每个注册学生(订阅者)答题。 1: public class Teacher 2: { 3: public event Event...
2019-08-13 22:15:59
87
转载 vue2.x.0 版本新增的 API
1、inheritAttrs、$attrs、$listeners inheritAttrs 是 vue2.4.0 版本新增的组件配置项，主要是为了清除在引用子组件时候配置的多余的属性的；例如： 在父组件中我们引用了子组件 <child-com :di='1' name='child' />； 但是我们在子组件中只用了 id 的属性值，这时候在子组件的根元素上还是会有 n...
2019-08-13 17:39:00
119
转载 How to find out where that error message comes from
How to find out where that error message comes from Have you ever got an error or info message in Axapta saying "Cannot post...." and wanted to know where that error is com...
2019-08-13 14:13:45
77
转载 Asp.Net Core WebAPI+PostgreSQL部署在Docker中
PostgreSQL是一个功能强大的开源数据库系统。它支持了大多数的SQL:2008标准的数据类型，包括整型、数值值、布尔型、字节型、字符型、日期型、时间间隔型和时间型，它也支持存储二进制的大对像，包括图片、声音和视频。PostgreSQL对很多高级开发语言有原生的编程接口，如C/C++、Java、.Net、Perl、Python、Ruby、Tcl 和ODBC以及其他语言等，也包含各种文档。...
2019-08-13 11:58:00
275
转载 Delphi_调用DLL方法[调用对象下面的方法]
unit PayIntf_MisDll;interfaceuses Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms, Dialogs, StdCtrls;type { /* 交易类型: '00'消费'01'撤销'02'退货'03'查余 ...
2019-08-13 11:08:00
197
转载 Tomcat连接数设置
Tomcat连接数设置在tomcat配置文件server.xml中的<Connector ... />配置中，和连接数相关的参数有：minProcessors：最小空闲连接线程数，用于提高系统处理性能，默认值为10maxProcessors：最大连接线程数，即：并发处理的最大请求数，默认值为75acceptCount：允许的最大连接数，应大于等于maxProcessors，默认值为...
2019-08-12 20:22:45
3413
转载 用bat使用date和time命令
D:\>date /T2010-12-10 星期五D:\>echo %date:~0,10%2010-12-10date：命令(别忘记date后面有个冒号)~0：从索引0开始取内容,10：取10个字符注：也就是从”2010-12-10 星期五“从索引0开始，往后取10个字符，正好是”2010-12-10“，8个数字，2个”-“横线。time用法...
2019-08-12 02:23:38
169
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人