- 博客(4524)
- 收藏
- 关注
RSS订阅转载 python spark MLlib
window系统1.anaconda 或pythonspark环境变量2.配置spark homeD:\Develop\spark-1.6.0-bin-hadoop2.6\spark-1.6.0-bin-hadoop2.63.C:\Users\Administrator>pip install py4jpython for java...
2019-10-03 23:52:00
1479
转载 python 基础
python 解释型语言。常用的称为cpythonPython目前有两个版本，Python2和Python3，最新版分别为2.7.13和3.6.2，现阶段大部分公司用的是Python2，Life is shot, you need Python. 人生苦短，我用Python。4、Python优缺点 简单————Python是一种代表简单主...
2019-10-02 01:04:00
700
转载 strom DRPC LinearDRPCTopologyBuilder 源码 的巧妙之处
前段时间公司做接口封装。 领导推荐一种封装规范。processor : 传入string[] params, 实现逻辑自己去根据processor接口规范实现init(params) 和 execute()对于每个接口形成参数模板，初始化，执行之后，返回实体，得到有效实体，保存到数据库。相当于对processor 的方法体进行参数化。与storm d...
2019-10-01 20:10:00
551
转载 storm
nimbus英 [ˈnɪmbəs] 美 [ˈnɪmbəs] n.(大片的)雨云;光环strom 分布式实时的流式计算框架strom如下图右侧，来一个数据，处理一个，单位时间内处理的数据量不能太大，以保证它的正常运行，但是一旦启动一直运行。批处理则不同，spark则是微批处理框架的计算框架，也能够达到实时性。MR 做不到实时性，数量级是TB,PB...
2019-09-29 23:48:00
387
转载 MySQL
一、查询数据1. SELECT语句1.1 检索单个列SELECT prod_name FROM products;注意：MySQL是不区分大小写的，包括关键字和查询字段1.2 检索多个列SELECT prod_name, prod_price FROM products;检索所有列：SELECT * FROM products;**最好不要使用 *，除非你真的是希望查询...
2019-09-28 23:59:00
96
转载 spark streaming kafka
SparkStreaming+Kafka•kafka是什么，有哪些特点•SparkStreaming+Kafka有什么好处–解耦–缓冲 消息列队的特点生产者消费者模式•可靠性保证–自己不丢数据–消费者不丢数据：“至少一次，严格一次”brokern. 经纪人，掮客...
2019-09-27 23:49:00
133
转载 用OC实现双向链表：构造链表、插入节点、删除节点、遍历节点
一、介绍双向链表：每一个节点前后指针域都和它的上一个节点互相指向，尾节点的next指向空，首节点的pre指向空。二、使用注：跟单链表差不多，简单写常用的。循环链表无法形象化打印，后面也暂不实现了，但是要注意循环链表遍历时结束的标志。循环链表遍历结束：tailNode.next == firstNode双向循环链表遍历结束：tailNode.next == firstN...
2019-09-27 16:39:00
313
转载 使用OC实现单链表：创建、删除、插入、查询、遍历、反转、合并、判断相交、求成环入口...
一、概念链表和数组都是一种线性结构，数组有序存储的，链表是无序存储的。 数组中的每一个元素地址是递增或者递减的关系，链表的每一个节点的地址没有此规律，它们是通过指针的指向连接起来。链表种类：单链表、双向链表、循环链表、双向循环链表单链表：一个数据域data、一个后继指针域next。也即：上一个节点指向下一个节点，尾节点指向空。双向链表：一个数据域data、一个前驱指针...
2019-09-27 12:03:00
347
转载 spark streaming
discretized离散化的http://spark.apache.org/docs/1.6.0/streaming-programming-guide.html#overview [root@node5 ~]# yum install nc[root@node5 ~]# nc -lk 9999...
2019-09-27 00:10:00
78
转载 DialogFragment: DialogFragment的一些理解
Android 自3.0版本引入了DialogFragment这个类，并推荐开发者使用这个类替代之前经常使用的Dialog类，那么DialogFragment相对于之前的Dialog究竟有什么优势呢？这个DialogFragment又该如何使用呢？今天总结一下：一. 与传统的Dialog类的对比1.更完善的生命周期管理之前创建的Dialog的方式如下：static c...
2019-09-26 11:01:00
190
转载 spark-sql
Spark on Hive• Hive只是作为了存储的角色• SparkSQL作为计算的角色– Hive on Spark• Hive承担了一部分计算（解析SQL，优化SQL...）的和存储• Spark作为了执行引擎的角色 Predicaten. 谓语，述语adj. 谓语的，述语的v....
2019-09-26 00:48:00
79
转载 Android Studio: 查看SDK源代码
有时候在AS里点击某个类跳转到的仍然是这个类反编译的源代码，看起来依然不舒服，今天分享个办法：1.查看当前编译的SDK Version:2.确保当前版本的SDK源码已下载：3.找到android studio的配置文件夹(一般都在C:/User/用户名/.Android Studio):比如我的是在：C:\Users\nisha_chen\.AndroidS...
2019-09-23 16:06:00
425
转载 HandlerThread: HandlerThread的理解
Android为了方便对Thread和Handler进行封装，也就是HandlerThread。HandlerThread继承自Thread，说白了就是Thread加上一个Looper。源码：可以看到其本身便持有一个Looper对象。之前学习的时候有两个疑问：1. HandlerThread为什么start完了之后不会退出？一般我们都是在某个方法里(如onCre...
2019-09-23 10:56:00
153
转载 Looper: Looper,Handler,MessageQueue三者之间的联系
在Android中每个应用的UI线程是被保护的，不能在UI线程中进行耗时的操作，其他的子线程也不能直接进行UI操作。为了达到这个目的Android设计了handler Looper这个系统框架，Android推荐把耗时的操作放到子线程中去执行，子线程执行完毕后如果想通知UI更新，可以通过给主线程的Handler发送Message的方式来予以实现，说起Handler就不得不提到它的另外两...
2019-09-20 18:17:00
84
转载 单例模式：Java单例模式的几种写法及它们的优缺点
总结下Java单例模式的几种写法：1.饿汉式public class Singleton{ private static Singleton instance = new Singleton(); private Singleton() {} public static Singleton getInstance() { ...
2019-09-20 11:25:00
70
转载 C#程序发送POST请求数据中+号丢失解决方案
C#程序把RSA加密后的密码发送到后台总是校验失败，用wireshark抓包检查发现POST发出的密码中的+号都变成了空格。为了正确的发送数据，要用URL转码协议进行转码。有两个方法进行URL转码第一种是使用HttpUtility.UrlEncode()，命名空间为System.Web不过我使用的C#版本已经不支持该写法第二种是使用WebUtility.UrlEncode...
2019-09-19 20:47:00
690
转载 C#访问https地址实例
程序访问的网址从http换成了https，安全性更高了，程序对网址的访问也要改一下C#访问https地址实例如下namespace ConsoleApp2{ public class Program { protected void LoginTest() { string url = "h...
2019-09-19 20:29:00
1756
转载 MySQL case when 使用
程序里错误码和字典对应不上，要做二次加工，回顾了一下case when的使用，直接在SQL里处理一下case when的两种写法简单判断：要判断值的列写在case后面，when后面写值，相等的情况执行then后的语句，可以写多个when判断语句，都不满足返回else后的值，要以end结尾，end后面可以给该列指定列名。CASE [col_name] WHEN [v...
2019-09-19 20:12:00
229
转载 rhel7.0替换centos yum源
1：卸载原先的yum2：安装centos的yum有以下的yumyum-utils-1.1.31-24.el7.noarchyum-langpacks-0.4.2-3.el7.noarchyum-metadata-parser-1.1.4-10.el7.x86_64yum-rhn-plugin-2.0.1-4.el7.noarchPackageKit-yum-0.8.9-11...
2019-09-19 15:31:00
141
转载 Activity: launchMode 和 Intent.FLAG_ACTIVITY_CLEAR_TOP
Activity的 launchMode:1. standard:标准模式这种启动模式为标准模式，也是默认模式。每当我们启动一个Activity，系统就会相应的创建一个实例，不管这个实例是否已经存在。这种模式，一个栈中可以有多个实例，每个实例也都有自己的任务栈。而且是谁启动了此Activity，那么这个Activity就运行在启动它的Activity所在的栈中。例：有Ac...
2019-09-19 13:48:00
108
转载 TextView: android:ellipsize="marquee" 跑马灯效果无效的问题
今天练习的时候想实现一个文字的跑马灯效果，本来想自己手动实现的，不过突然想起来android里的TextView属性似乎自带了这个效果，叫：android:ellipsize，平时都是把它的属性值设置成end,表示文字超出了一定的范围就显示省略号，如果要实现跑马灯的效果，就需要将它的属性值设置成marquee，就是： android:ellipsize="marquee" ...
2019-09-18 15:20:00
324
转载 php 断点续传以及100% 后台zip解压
前台部分 <div class="col-md-12"> <div class="form-group"> <label class="control-label col-sm-2">申请人材料zip包</label>...
2019-09-17 08:41:00
179
转载 spark
// 验证pipeline计算模式 val rdd1 = sc.parallelize(Array("zhangsan","lisi","wangwu")) val rdd2 = rdd1.map(name=>{ println("***map " + name) name + "~" }) ...
2019-09-17 00:13:00
131
转载 本周学习总结(原生)
类型别名type Name = string;type NameResolver = () => stringconst getName = (n: NameResolver): Name => { if (typeof n === 'string') { return n; } else { return n(); }};类型别名常用...
2019-09-15 23:19:00
63
转载 scala
https://www.scala-lang.org/http://spark.apache.org/docs/1.6.3/java、scala 基于jvmconciseadj. 简明的，简洁的The Scala Programming LanguageScala combines object-oriented and functiona...
2019-09-14 23:36:00
184
转载 Socket通信(1)：搭建开发环境
一. 准备工具1. mac环境下的VMware Fusion, 下载地址：https://www.newasp.net/soft/462096.html2. ubuntu 14.04 LTS, 不一定是14.04，但最好是LTS版本。https://www.cnblogs.com/yongdaimi/p/11509640.html3. qtcreator下载，这里使用的是2....
2019-09-14 23:02:00
396
转载 linux: QT安装时出现段错误segmentation fault
环境：macOS 10.14.6VMware Fusion版本：11.0.1QT版本：qt-creator-linux-x86_64-opensource-2.5.2.bin安装时出现：segmentation fault解决办法：在linux环境下重新下载qt,再进行安装(可能是由于从mac上下载的qt拖进linux环境后MD5不一致所致)。参考链接：ht...
2019-09-14 22:47:00
653
转载 linux: 右键添加打开终端
安装一个包，即可在右键里面添加一个“打开终端”的菜单。sudo apt-get install nautilus-open-terminal注销用户重启，然后再进入就可以右键->在终端打开选项。转载于:https://www.cnblogs.com/yongdaimi/p/11520628.html...
2019-09-14 22:42:00
271
转载 洛谷 题解 P5514 【[MtOI2019]永夜的报应】
这道题的题面是幌子，其实稍稍验证一下就好了：（我在考场上竟将题面当作故事来读）在样例 1 中， 1xor2xor5=6 ，而在样例 2 中， 9xor18xor36xor25xor9xor32=15 。所以，我们很容易的得到，答案就是所有数的异或和。（不信的话自己举例子）所以，我们得到了代码：// luogu-judger-enable...
2019-09-13 09:03:00
159
转载 Redis
Redis 是内存数据库，是nosql数据库。基于key value存储的数据，key只能是string类型, v 可以使多种类型。 关系型数据库的索引机制； btreeSAP HANA ERP 中的HANA是内存数据库。SAP 介绍： http://baijiahao.baidu.com/s?id=16424473334097...
2019-09-12 23:29:00
502
转载 小小知识点（三十九） 正交频分复用OFDM的基本原理及实现
引言符号间干扰（ISI）是无线传输系统设计中需要考虑的因素，采用什么样的处理方法取决于数据传输速率或等效传输带宽来决定（1）若数据速率低且与信道最大延迟相比符号持续时间较长，那么就可能无需任何均衡技术处理ISI（2）若数据速率或通信距离增加，ISI变得越来越严重，如数据以100Mb/s的速率在最大延迟为10us的信道上传输，那么ISI将扩展100个符号，这时就必须借助均衡技术...
2019-09-12 22:36:00
680
转载 小小知识点（三十八）MPSK和MQAM调制的实现——利用IQ调制
IQ调制的原理（一）调制基本原理（二）调制基本原理利用IQ调制实现MPSK（QPSK 8PSK BPSK）和MQAM（16QAM 64QAM）调制（一）利用IQ调制实现QPSK调制QPSK调制的星座图星座图，就是说一个坐标，如高中的单位圆，横坐标是I，纵坐标...
2019-09-12 21:02:00
2645
转载 小小知识点（三十七）OFDM和OFDMA的区别以及OFDMA与SC-FDMA的区别
OFDM和OFDMA的区别OFDM（orthogonal frequency division multiplexing)，which assigns one block (in time ) to one user,OFDMA(orthogonal frequency division multiple access), which assigns different gro...
2019-09-12 16:06:00
8023
转载 linux: ubuntu 14.04 和16.04 快速下载
由于官网服务器在国外，下载速度奇慢，所以我们可以利用阿里云镜像下载ubuntuubuntu 14.04：http://mirrors.aliyun.com/ubuntu-releases/14.04/ubuntu 16.04：http://mirrors.aliyun.com/ubuntu-releases/16.04/ubuntu 18.04：http://mirrors...
2019-09-12 00:13:00
116
转载 linux: E: Could not get lock /var/lib/apt/lists/lock - open (11: Resource temporarily unavailable)
今天在使用ubuntu执行下列指令的时候出现了错误：sudo apt-get update解决办法：输入以下命令：sudo rm /var/cache/apt/archives/locksudo rm /var/lib/dpkg/locksudo rm /var/lib/apt/lists/lock即可解决。转载于:https://...
2019-09-12 00:06:00
172
转载 蓝牙BLE: GATT Profile 简介(GATT 与 GAP)
一. 引言现在低功耗蓝牙（BLE）连接都是建立在GATT(Generic Attribute Profile) 协议之上。GATT 是一个在蓝牙连接之上的发送和接收很短的数据段的通用规范，这些很短的数据段被称为属性（Attribute）。二. GAP详细介绍 GATT 之前，需要了解GAP（Generic Access Profile），它在用来控制设备连接和广播。GA...
2019-09-11 17:26:00
1344
转载 C#开发BIMFACE系列29 服务端API之获取模型数据14：获取图纸列表
系列目录 【已更新最新开发文章，点击查看详细】一个三维模型中可能包含对应多张二维图纸列表，本篇主要介绍如何获取模型文件对应的图纸列表。请求地址：GET https://api.bimface.com/data/v2/files/{fileId}/drawingsheets说明：获取单个模型文件对应的图纸列表。如果请求参数elementId为null，返回所有图纸，否则...
2019-09-11 09:27:00
99
转载 C#开发BIMFACE系列28 服务端API之获取模型数据13：获取三维视点或二维视图列表...
系列目录 【已更新最新开发文章，点击查看详细】本篇主要介绍如何获取一个模型中包含的三维视点或二维视图列表。请求地址：GET https://api.bimface.com/data/v2/files/{fileId}/views说明：获取单模型中包含的三维视点或二维视图列表。参数：请求 path(示例)：https://api.bimface.com/da...
2019-09-11 09:26:00
184
转载 C#开发BIMFACE系列27 服务端API之获取模型数据12：获取构件分类树
系列目录 【已更新最新开发文章，点击查看详细】BIMFACE官方示例中，加载三维模型后，模型浏览器中左上角默认提供了“目录树”的功能，清晰地展示了模型的完整构成及上下级关系。本篇介绍如何获取单个模型的构件分类树信息。请求地址：POST https://api.bimface.com/data/v2/files/{fileId}/tree说明：单模型构件分类树...
2019-09-11 09:24:00
190
转载 elasticsearch
lucene : 倒排索引如下： 我 (1:1) {0} 表示第一行出现一次，索引位置为0 elasticsearch 部署 elasticsearch-2.2.1.zip192.168.112.101 node1192.168.112.102 node2192.168.112.103 node3...
2019-09-10 22:07:00
70
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人