- 博客(53)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 彩虹5G 逼坑指南
之前由于口罩病的关系，在地域活动受限，属于那种无通勤证，不能出去也不能进来，看着口罩病结束无望就本地找了个小门脸开了家小店，想着可以贴补些家用（实际上店铺刚开1个月就解封了，中间小区还被隔离了7天），本着节俭的原则，买了个物联网wifi，下载速度可以到2M，问题就是这东西下载到2M一段时间后它就会自动重启，我有时候会下载些软件的升级包，然后就是不停的下载，断线，重新下载，再断线，无限下不完的循环。我反正是黑猫投诉上发了，B站这里也发了，这种坑人的能看到的擦亮自己的眼睛，自己选择吧。
2023-06-13 20:07:20
4643
2
原创 萤石开放平台 .net c# sdk
传送门项目地址 Iotsys.YsSDK: 萤石 .net SDK传送门 萤石开放平台 下载项目至本地目录 根据需求使用 Iotsys.YsSDK 重新生成类库(也可以不重新生成) 将Iotsys.Ezviz拷贝到自己的项目中 修改Iotsys.Ezviz/Ys7Client.cs文件中 appKey , appSecret 为自身项目信息 修改以下方法 public static AccessTokenResponseData ReadAccses.
2022-01-09 11:09:43
1476
原创 使用MqttEmu接入阿里云物联网-秘钥模式
本文档主要介绍 MqttEmu如何与阿里云IoT Cloud 交互。打开阿里云物联网开发平台阿里云登录 - 欢迎登录阿里云，安全稳定的云计算服务平台欢迎登录阿里云，全球领先的云计算及人工智能科技公司，阿里云为200多个国家和地区的企业、开发者和政府机构提供云计算基础服务及解决方案。阿里云云计算、安全、大数据、人工智能、企业应用、物联网等云计算服务。https://iot.console.aliyun.com/lk/summary/new选择华东2区，我这里其他区没有公共实例找到...
2021-12-21 11:00:45
346
原创 使用MqttEmu接入腾讯物联网-证书模式
本文档主要介绍 MqttEmu如何与腾讯云 IoT Cloud 交互。打开腾讯物联网开发平台登录 - 腾讯云https://console.cloud.tencent.com/iotexplorer找到公共实例并进入。进入物联网项目（如果没有则需要创建），选择新建物联网产品。选择如下产品名称随意输入，品类选择标准，品类为智慧农业/传感器/酸碱度传感器。通讯方式随意，认证选择证书认证，数据协议为物模型。点击确定创建设备。在产品列表中点击刚刚创建的产品，点击出现...
2021-12-15 11:14:37
3220
原创 使用MqttEmu接入腾讯物联网-秘钥模式
本文档主要介绍 MqttEmu如何与腾讯云 IoT Cloud 交互。打开腾讯物联网开发平台登录 - 腾讯云https://console.cloud.tencent.com/iotexplorer找到公共实例并进入。进入物联网项目（如果没有则需要创建），选择新建物联网产品。选择如下产品名称随意输入，品类选择标准，品类为智慧农业/传感器/酸碱度传感器。通讯方式随意，认证选择秘钥认证，数据协议为物模型。点击确定创建设备。在产品列表中点击刚刚创建的产品，点击出现页面上...
2021-12-15 10:59:38
3248
原创 MqttEmu 物联网设备模拟器
MqttEmu是使用Electron构建桌面应用程序，允许运行在Windows、macOS和Linux上。MqttEmu是一个物联网设备仿真器，主要使用Mqtt协议进行网络通讯，实现物联网设备与物联网平台的消息通讯。
2021-12-10 15:19:42
10459
3
原创 RuiJi.Scraper 3.0 新增爬取链 - 深度爬取网站
RuiJi.Scraper是一款Chrome浏览器插件，可以可视化的对网页进行抽取，并导出抽取结果本次更新添加爬取链功能，可以从指定页面按照规则设置对网站进行深度爬取新功能位于新选项卡 -爬取链如图所示我们以CSND搜索为例创建爬取链 （您首先需要建立相关规则，搜索hub页规则及正文提取规则）爬取链使用流程图的方式对爬取进行设置，首先设置爬取起始页面，这里起始页面的地址为https://so.csdn.net/so/search/s.do?q=%E7%89%A9%E8%81%9...
2020-08-29 10:37:27
229
原创 RuiJi Scraper 新的可视化的浏览器爬虫扩展
RuiJi Scraper是一款可视化的浏览器爬虫扩展，是一款适合金融、新闻编辑、新媒体人员、个人站点、爬虫工作者数据采集工具。该插件从近期开始，永久免费！下载地址https://download.csdn.net/download/weixin_42581666/12600767以下是本插件的安全步骤：首先您需要安装最新版的谷歌浏览器或其他使用谷歌内核的浏览器，例如：腾讯浏览器，360浏览器，搜狗浏览器，猎豹浏览器，百度浏览器，遨游浏览器等这里以谷歌浏览器为例。1. 首先从官网下载..
2020-07-11 10:37:58
772
原创 微信小程序使用阿里云物联网API开发物联网应用
阿里云物联网云端API参考https://help.aliyun.com/document_detail/69893.html?spm=a2c4g.11186623.6.743.66a92125iuKyp3阿里云物联网OpenAPIhttps://api.aliyun.com/?spm=a2c4g.11186623.2.15.478753ccOZrVVE#/?product=Iot云端SDK参考https://help.aliyun.com/document_detail/30579.h
2020-07-08 14:48:26
3618
2
原创 使用 Babylonjs Web3D 渲染引擎制作床垫定制系统(Typescript版)
Babylonjs是一款开源及免费的Web3D渲染引擎。本示例的开发环境为VS2019，基于Vue的Typescript项目。在新建项目窗口中选择 Typescript ->所有平台 -> Web 再选择基本Vue.js Web应用程序。安装npm包开发包 @babylonjs/core@4.1.0 @babylonjs/gui@4.1.0 (GUI扩展库)标准包 babylonjs@4.1.0 ...
2020-07-05 10:07:52
952
原创 Mysql 自动创建分区表及自动删除分区表
有时我们需要保存大量数据，而这些数据是有时效性的，例如一些日志，在经过一段周期以后，这些数据存在的意义就不大了，除了占用大量的硬盘空间外还可能使数据查询变得缓慢。这些数据需要定时清除。我们可以采用表水平分割的方式（或分库分表）应对这种情况，但是水平分割表更适合具有大量查询或需要长期保存数据的情况。在某些情况下，我们数据的查询量并不大且表数据在单机情况下能满足系统需要，这时候Mysql分区表更适合。首先创建分区表创建存储过程，并将其命名为：create_log_partitionBEGIN se.
2020-06-21 08:23:10
1320
原创 使用STM32F405RGT6开发智能电动床控制系统
智能家居是在互联网影响之下物联化的体现。智能家居通过物联网技术将家中的各种设备连接到一起，提供家电控制、照明控制、电话远程控制、室内外遥控、防盗报警、暖通控制、红外转发以及可编程定时控制等多种功能和手段。 智能电动床属于智能家具产品的一类，反映了当前智能家居领域发展趋势和全新的产品概念。 本教程使用STM32F405实现智能电动床的控制，基本功能如下： 语音控制模块：LD3320，提供基于 " 关键词语列表 " 的语音识别，可以使用语音命令控制智能电动床进行相关操作，例...
2020-06-19 18:41:08
1424
原创 asp.net core 3.1 利用中间件处理options请求
ajax跨域在某些情况下会发送options请求给服务器，具体情况可自行搜索，如无相关设置会返回405错误在asp.net core 3.1 webapi下通过中间件来处理options请求using Microsoft.AspNetCore.Builder;using Microsoft.AspNetCore.Http;using System;using System.Collections.Generic;using System.Linq;using System.Threadi
2020-06-06 07:19:45
2076
2
原创 Json.Net 反序列化接口集合
首先有一个类 包含接口集合 例如public class ExtractBase { [JsonProperty("name", NullValueHandling = NullValueHandling.Ignore)] public string Name { get; set; } [JsonProperty("selectors",ItemConverterType = typeof(ISelectorConverter))]
2020-05-21 05:38:15
343
原创 使用C# 获取网卡使用率
下载Vanara.PInvoke.IpHlpApiInstall-Package Vanara.PInvoke.IpHlpApi -Version 1.0.12由于只是简单使用，所以没做太多研究，只说大概思路GetIfTable获得网络状态得到的结果是一个列表，里面包含的很多信息，其中dwInOctets是进入流量dwOutOctets是出口流量分别取到这两个参数的总和，然后等待1秒钟再重新分别取这两个值的和，就是瞬时流量 var iftab.
2020-05-21 05:38:05
1175
原创 ZooKeeperNet 节点竞争Leader
看了一些例子 代码都很长 于是简单尝试了下竞争选举就是看谁快 谁先声明自己为Leader简单贴点代码，未加粗的地方可以忽略大概看思路首先，创建监视节点/overseerprotected void CreateCommonNode() { //live_nodes node var stat = zooKeeper.Exists("/live_nodes", false); if (stat ...
2020-05-19 05:05:31
220
原创 MicroSoft.Owin 自托管+WebApi
版本 .Net Framework 4.6在Vs2017程序包管理控制台中运行以下命令安装Microsoft.Owin.SelfHostInstall-Package Microsoft.Owin.SelfHost -Version 4.0.0安装 Microsoft.AspNet.WebApi.OwinInstall-Package Microsoft.AspNet.WebApi.Owin -Version 5.2.6如果需要静态文件支持需安装Microsoft.Owin.Stati..
2020-05-19 05:03:46
1357
原创 在kafka connect 中使用 jdbc mysql
下载以下文件,解压，放置到kafka的libs目录kafka-connect-jdbc-4.1.1从这里选择适合的mysql connectorhttps://dev.mysql.com/downloads/connector/j/将里面的jar文件提取出来，也放到kafka的libs目录在config目录下创建connect-mysql-source.properties内容为name=mysql-jdbc-autoincrementconnector.class=io..
2020-05-19 05:02:52
596
原创 HUE 集成Hadoop
进入hadoop配置目录，编辑core-site.xml/etc/hadoop/etc/hadoopvi core-site.xml 添加如下内容<property> <name>hadoop.proxyuser.hue.hosts</name> <value>*</value></property><property> <name>hadoop.p
2020-05-19 05:02:43
198
原创 kafka 多机多borker安装
下载压缩包cd /tmp/wget http://ftp.cuhk.edu.hk/pub/packages/apache.org/kafka/1.1.0/kafka_2.12-1.1.0.tgz解压转移目录tar -xzvf kafka_2.12-1.1.0.tgzmv kafka_2.12-1.1.0 /etc/kafka进入 kafka配置目录编辑配置文件cd /etc/kafka/config/vi server.properties更log.dirs和zook..
2020-05-19 05:02:31
80
原创 Spark 全布式安装
在伪分布式的基础上，重新编辑slaves文件vi slaves内容如下192.168.101.11192.168.101.12192.168.101.13192.168.101.14执行以下命令scp -r /etc/spark/ root@bigdata11:/etc/scp -r /etc/spark/ root@bigdata12:/etc/scp -r /etc/spark/ root@bigdata13:/etc/scp -r /etc/spark/ root
2020-05-19 05:02:21
78
原创 Spark 伪分布式安装
下载安装文件wget http://ftp.cuhk.edu.hk/pub/packages/apache.org/spark/spark-2.3.1/spark-2.3.1-bin-hadoop2.7.tgz解压文件tar -xzvf spark-2.3.1-bin-hadoop2.7.tgztar -xzvf cdh5.15.0-releasemv spark-2.3.1-bin-hadoop2.7 /etc/spark进入spark配置目录cd /etc/spark/con
2020-05-19 05:02:13
155
原创 HUE 部署
参考官方文档http://cloudera.github.io/hue/docs-4.0.0/manual.html#_install_huegithubhttps://github.com/cloudera/hue#development-prerequisites首先安装依赖包yum install -y gcc libxml2-devel libxslt-devel cyrus-sasl-devel mysql-devel python-devel python-setuptoo
2020-05-19 05:02:05
211
原创 HBase 全分布模式安装
在伪分布模式的hbase-size.xml文件上添加<property> <name>hbase.master.maxclockskew</name> <value>180000</value></property>更改 dfs.replication根据节点数量配置最大建议为3<property> <name>dfs.replication</name>..
2020-05-19 05:01:55
144
原创 HBase 伪分布模式安装
假设本机IP为192.168.101.15cd /etc/hbase/confvi hbase-env.sh在129行左右找到如下内容去除前面注释export HBASE_MANAGES_ZK=true保存退出vi hbase-site.xml<configuration><property> <name>hbase.rootdir</name> <value>hdfs://192.168.1...
2020-05-19 05:01:44
124
原创 HBase 本地模式安装
cd /usr/tmpwgethttp://mirrors.hust.edu.cn/apache/hbase/stable/hbase-1.2.6.1-bin.tar.gztar -xzvf hbase-1.2.6.1-bin.tar.gzmv hbase-1.2.6.1 /etc/hbasevi ~/.bash_profileJAVA_HOME=you jdk pathexport JAVA_HOMEPATH=$PATH:$JAVA_HOMEexport PATHHBAS.
2020-05-18 06:20:54
151
原创 Hadoop 全分布环境搭建
首先编辑hosts文件vi /etc/hosts根据你的集群架构进行配置192.168.101.11 bigdata11192.168.101.12 bigdata12192.168.101.13 bigdata13192.168.101.14 bigdata14192.168.101.15 bigdata15参照之前文章在bigdata15上安装hadoop参见之前文章 将每台机器的公钥部署在其他机器上需要在每一台机器上执行如下命令ssh-copy-id -i /r..
2020-05-18 06:20:46
121
原创 hadoop 免密码登陆
生成公钥私钥ssh-keygen -t rsa运行完毕后查看生成的私钥/root/.ssh/id_rsa生成的公钥/root/.ssh/id_rsa.pub将公钥传送给其他主机ssh-copy-id -i /root/.ssh/id_rsa.pub [user@]machine
2020-05-18 06:20:37
129
原创 Hadoop 伪分布配置
进入hadoop配置目录cd /etc/hadoop/etc/hadoop/需要编辑以下几个文件与HDFS相关hdfs-site.xmlcore-site.xml与Yarn相关mapred-site.xmlyarn-site.xml————————–使用VI命令编辑文件内容hdfs-site.xml如下<configuration><property> <name>dfs.replication</name>...
2020-05-18 06:20:28
149
原创 Hadoop 本地模式
Hadoop本地模式，用于MR测试，没有HDFS系统，处理的是本地的文件系统数据接上篇 hadoop安装位置为cd /etc/hadoop进入配置目录cd /etc/hadoop/etc/hadoop/cd /etc/hadoop/etc/hadoop/修改第25行export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk.x86_64将JAVA_HOME设置为你的jdk路径:wq保存退出回到根目录cd /创建Hadoo...
2020-05-18 06:20:19
178
原创 Hadoop 安装
cd /usr/tmpwgethttp://apache.fayea.com/hadoop/common/stable2/hadoop-2.9.1.tar.gztar -xzvf hadoop-2.9.1.tar.gzmv /usr/tmp/hadoop-2.9.1 /etc/hadoopvi ~/.bash_profileaddJAVA_HOME=you jdk pathexport JAVA_HOMEPATH=$PATH:$JAVA_HOMEexport PATH.
2020-05-18 06:20:10
75
原创 RuiJi.Net RuiJi 表达式选择器
Css 选择器表达式 说明 css tag[xxx] 选择属性 css tag:text 选择文本 css tag:ohtml 选择outerHtml css tag:html 选择innerHtml css dd[class=’f12 balck02 yh’] + dd:text 选择tag为dd,class为‘f12 balck01 yh’紧邻的dd的文本 Exclude 排除选择器表达式 说明 ex /abc/ -b
2020-05-18 06:19:49
94
原创 RuiJi.Net RuiJi 表达式进阶
多个选择器这里我们以抽取出栏目名称为例，假设一个页面的栏目的源码如下<td> <div style="width:616px; float:left;" class="f12 black"> <ul style="margin:0; padding:0;"> <li style="float:left; width:120px; text-align:right;">法制网首页>></li>
2020-05-18 06:19:24
99
原创 RuiJi.Net RuiJi 表达式介绍
RuiJi表达式是为了快速添加抽取规则，实现规则与程序运行分离的一种方式，RuiJi表达式尽量的简单、易懂、配置灵活。RuiJi表达式遵循RuiJi.Net的抽取模型，表达式所描述的抽取结构与RuiJi.Net的抽取模型一致。RuiJi表达式可以存储于文本文件、数据库或高速缓存中，在需要进行抽取时再进行读取，这意味着您不需要重新启动程序，可以在任意需要的时刻更改表达式内容。在日后我们会让每一个抽取节点都可以缓存RuiJi表达式，并在需要时接收更改通知，对规则进行更新。如上所述，RuiJi
2020-05-18 06:19:11
150
原创 RuiJi.Net 选择器类型
RuiJi.Net 的选择器(Selector)被用来抽取所属结构的内容，通常为一个或多个，下一个选择器处理的是上一个选择器的处理结果，通过逐层处理的方式，我们可以将抽取结果进行精细化抽取，以达到最终需要的抽取结果。RuiJi.Net 的选择器有以下类型类型 说明 CSS 样式选择器，类似于JQuery REGEX 正则选择器 REGEXSPLIT 分割选择器，支持正则分割 TEXTRANGE 文本区域选择器 EXCLUDE 排除选择器 R
2020-05-18 06:18:56
97
原创 RuiJi.Net 抽取模型
结构RuiJi.Net 将需抽取的目标进行了结构化处理，每一个需要抽取的目标页面被划分为以下结构 分别为 Block、Tile、Meta。这在RuiJi.Net中被称为抽取器。选择器每一个RuiJi.Net的抽取器都包含Selectors, Selectors是被用来定义所属抽取器需抽取内容的选择器。Selectors是由Selector组成，每个Selector都依赖上一个Selector的处理结果，也就是下一个Selecor相对与上一个Selector会抽取更精细的内容.如果所属抽
2020-05-17 07:36:01
179
原创 RuiJi.Net 管理员 UI – 代理
代理Ruiji.Net在请求下载页面时会模拟用户代理（User Agent，以下简称UA），并根据UA设置使用Cookie管理器生成多个Cookie进行下载。Ruiji.Net对UA设置主要分为UA组设置及UA设置。UA组代表不同PC浏览器或手机浏览器，UA则是某个UA组下的不同UA。通过此设置界面您可以对UA组及下属UA进行增删改查。这里需要注意的是删除UA组的同时也会删除其所属所有UA。添加点击Add按钮或者选择某个UA组后点击Update按钮，可进入UA组编辑界面点击A..
2020-05-17 07:34:19
176
原创 RuiJi.Net 管理员 UI – 函数类型
地址函数 URLFUNCTIONURLFUNCTION被用来处理Url地址，您可以这样在Url地址中使用函数http://xxx.xxx.com.cn/roll.php?do=query&callback=jsonp1475197217819&_={# ticks() #}&date={# now("yyyy-MM-dd") #}&size=20&page={# page(1,2) #}在地址中使用函数，函数必须在{# #}中ticks是一个生
2020-05-17 07:32:22
117
原创 RuiJi.Net 管理员 UI – 函数设置
函数RuiJi.Net 中的函数可以被用来处理Url地址或选择器结果，函数分为两种类型：URLFUNCTION 和 SELECTORPROCESSOR添加点击Add按钮或函数的编辑按钮，可进入函数编辑界面Dialog中各字段属性对照表如下字段 描述 特性 Name 函数名称 以供调用时使用 Code 具体执行代码 暂时只支持C#代码编写 Type 函数类型 详情请参照URLFUNCTION和SELECTORPROCESS
2020-05-17 07:31:36
112
RuiJi.Scraper 3.0 测试版
2020-08-28
ruiji scraper
2020-07-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人