- 博客(21)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 阿里云报告：ThinkPHP5远程代码执行高危漏洞
阿里云报个漏洞需要修复，验证后还给出了URL地址，需要修复一下，可利用 下面的代码在执行模块解析时把它抛个错误。if (!preg_match('/^[A-Za-z](\w|\.)*$/', $controller)) { throw new HttpException(404, 'controller not exists:' . $controller);}我的thi...
2018-12-12 15:42:46
1565
原创 小程序富文本解析wxParse 安卓手机显示不出来
小程序富文本wxParse解析时，IOS完全支持，但安卓手机确显示不出来。调试也没有打印出错误代码，但使用真机调试却没有问题。后来修改html2json.js文件的console.dir 改成console.log就可以显示了。安卓console.dir这个不支持？...
2018-12-04 11:16:24
1141
1
原创 APACHE php服务器出现No input file specified如何解决
一、修改伪静态配置一般来讲，你部署的linux服务器使用了宝塔面板 的话，你可以选择你的部署的环境或者框架，他已经写好了伪静态了。一般来讲thinkphp，写这样就可以了 <IfModule mod_rewrite.c> RewriteEngine on RewriteBase / RewriteCond %{REQUEST_FILENAME} !-d Rewr...
2018-11-12 09:44:38
1074
原创 apache设置获取Authorization 头信息
最近使用阿里云OSS需要给回调做验证，阿里的示例文档中说：配置文件/etc/httpd/conf/httpd.conf(以你的apache安装路径为准)，在DirectoryIndex index.php这行下面增加以下两行 RewriteEngine On RewriteRule .* - [env=HTTP_AUTHORIZATION:%{HTTP:Authorizati...
2018-11-08 11:00:30
3734
原创 Spark学习笔记二：Spark.SQL
一、Spark.Sql简介Spark.sql是Spark四大组件之一，是Spark数据处理中用的最多的组件。SparkSQL在SparkCore的基础上对外提供了SQL接口，可以让熟悉SQL的技术人员快速上手。其编程入口为SparkSession。.SparkSQL所有的内容位于pyspark.sql这个模块下，包含了SparkSession、Column、Row等众多的核心内容。Spar...
2018-11-06 20:59:11
306
原创 Spark学习笔记一：Spark.core
一、Spark.coreSpark生态圈以Spark.core为核心，从HDFS、Hbase等持久层读取数据，以MESS、YARN和自身有的Standalone为资源管理器调度Job完成Spark应用程序的计算。这些应用程序可以来源于不同的Spark组件。如Spark shell 或spark commit 的批处理、Spark streaming的实时处理应用，Spark sql的查询，ML...
2018-11-05 11:49:36
682
原创 Spark理论部分
一、spark简介 spark是AMP实验室开发的通用内存并行计算框架，使用scala语言实现的。运行速度快，易用性好，通用性强等特点，spark是在借鉴了MapReduce之上发展而来的，继承了其分布式并行计算的优点并改进了MapReduce明显的缺陷，如果说MapReduce是第一代并行计算框架的话，那么Spark就是第二代了。具体区别主要有以下几点：Spark把中间数据放...
2018-11-05 09:29:58
285
原创 zookeeper启动报错/usr/local/zookeeper-3.4.10/bin/zkEnv.sh: Syntax error: "(" unexpected (expecting "fi")
百度才了解到，ubutu的sh设置连接为dash(我的docker 使用的ubutu境像)root@3c511e2e3866:/usr/local/zookeeper-3.4.10/bin# ls -l /bin/sh lrwxrwxrwx. 1 root root 4 Feb 17 2016 /bin/sh -> dash设置下：root@...
2018-11-02 12:07:50
1016
转载 zookeeper安装
zookeeper有单机、伪集群、集群三种部署方式，可根据自己对可靠性的需求选择合适的部署方式。下边对这三种部署方式逐一进行讲解。 一、单机安装1.1 下载进入要下载的版本的目录，选择.tar.gz文件下载下载链接：http://archive.apache.org/dist/zookeeper/ 1.2 安装使用tar解压要安装的目录即可，以3.4.5版本为例...
2018-11-02 11:47:28
149
原创 docker Dockerfile 指令 ADD 和 COPY介绍
一、ADD指令ADD指令的功能是将主机构建环境（上下文）目录中的文件和目录、以及一个URL标记的文件 拷贝到镜像中。其格式是： ADD 源路径 目标路径1、如果源路径是个文件，且目标路径是以 / 结尾， 则docker会把目标路径当作一个目录，会把源文件拷贝到该目录下。如果目标路径不存在，则会自动创建目标路径。2、如果源路径是个文件，且目标路径是不是以 / 结尾，则dock...
2018-11-02 11:02:12
303
转载 Thrift的入门知识
一、Thrift是什么 The Apache Thrift software framework, for scalable cross-language services development, combines a software stack with a code generation engine to build services that work effic...
2018-11-02 09:20:53
161
原创 微信小程序之video组件的神坑
1、微信小程序之video组件中controls show-play-btn show-fullscreen-btn show-center-play-btn show-progress等属性你设置false怎么也无法隐藏，后面还是看到官方解决卡顿时说 设置属性：custom-cache="{{false}}"，看到没有false竟然有大括号，于是把controls 的属性设置成contro...
2018-10-31 10:18:56
7890
1
转载 HADOOP学习笔记总结三：zookeeper
在学习Hbase时，官方文档说hbase依赖于zookeeper来管理与跟踪其分布式数据的状态，hregionserver与hmaster都需要向它注册。那什么是zookeeper呢？今天学习一下：1、zookeeper是什么ZooKeeper是一种分布式协调服务，用于管理大型主机。在分布式环境中协调和管理服务是一个复杂的过程。ZooKeeper通过其简单的架构和API解决了这个问题。Zo...
2018-10-29 12:13:00
299
原创 HADOOP学习笔记总结三： HBASE
一、HADOOP生态系统HBase是HADOOP的生态系统，是建立在Hadoop文件系统（HDFS）之上的分布式、面向列的数据库，通过利用Hadoop的文件系统提供容错能力。二、HBase是什么三、HBase处理数据虽然Hadoop是一个高容错、高延时的分布式文件系统和高并发的批处理系统，但是它不适用于提供实时计算;HBase是可以提供实时计算的分布式数据库，数据被保存在H...
2018-10-29 11:00:39
267
原创 mongodb的基本知识记录
一、NOSQL是什么NoSQL(NoSQL = Not Only SQL )，意即"不仅仅是SQL"。指的是非关系型的数据库，是对不同于传统的关系型数据库的数据库管理系统的统称。在现代的计算系统上每天网络上都会产生庞大的数据量，这些数据有很大一部分是由关系数据库管理系统（RDMBSs）来处理，关系模型是非常适合于客户服务器编程，远远超出预期的利益，今天它是结构化数据存储在网络和商务应用的主...
2018-10-29 09:32:52
222
原创 HADOOP学习笔记总结二：分布式计算框架mapreduce
一、mapreduce 设计理念移动计算不移动数据1、split数据切片2、MAP过程3、shuffle过程4、reduce过程二、shuffler过程partition过程默认hash模计算，根据reduce 的数量来决定，分好区后，reduce 自已fetch自己的那个部分后，再merge操作，可以解决所谓的数据倾斜问题。sort排序，为后面的r...
2018-10-26 09:59:02
506
原创 HADOOP学习笔记总结一：HDFS
一、Hadoop的来源二、hadoop的子项目三、Hadoop的安装与版本Hadoop 的有三条线并行演化，各个版本的功能是不一样的。所以2.7并不一定比0.23的要新。比如说，0.23这个版本增加了用户认证的功能，但其他的版本确没有此功能。官方地址：https://hadoop.apache.org，官方文档完整，较清晰，不过是英语，其实也是容易读懂的四、HD...
2018-10-25 17:37:28
279
原创 安装fish插件出现 NOkey的错误导致无法安装成功
一般都是这样来安装fish：cd /etc/yum.repos.d/wget http://download.opensuse.org/repositories/shells:fish:release:2/CentOS_7/shells:fish:release:2.repoyum install fish安装的时候总是出现：ID d880c8e4: NOKEYttp://downl...
2018-10-16 12:59:25
721
原创 解决CENTOS7 通过虚拟机复制后网络无法开启，报错：RTNETLINK answers: File exists或no suitable device found for this connect
最近需要用到CENTOS7来部署hadoop 与spark 集群，制作了模板的centos后，复制到新的机器 上网络无法启动。报错：RTNETLINK answers: File exists或no suitable device found for this connect在网络上找了很多的资料，主要是以下几种方法：1、NetworkManager 服务冲突，使用systemctl ...
2018-10-15 12:45:34
1552
1
翻译 numpy.random.multivariate_normal 的用法
从多元正态分布中抽取随机样本。多元正态分布，多正态分布或高斯分布是一维正态分布向更高维度的推广。这种分布由其均值和协方差矩阵来确定。这些参数类似于一维正态分布的平均值（平均值或“中心”）和方差（标准差或“宽度”，平方）。参数：mean：长度为N的1-D array_likeN维分布的均值。如：[1,1] 各维度的均值cov：2-D array_like，形状（N，N）如：[[1, -.5], [...
2018-06-27 12:37:11
8825
2
翻译 numpy.argsort返回值的理解
函数声明numpy.argsort(a, axis=-1, kind='quicksort', order=None)功能说明Returns the indices that would sort an array.返回数组排序的索引.问题说明实际使用过程中,会对返回值的解释产生疑问.如manual中给的示例:x = np.array([3, 1, 2])np.argsort(x)运行结果:a...
2018-06-26 12:34:27
1739
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人